Vergelijk voedselscan-apps met dezelfde verpakkingen en duidelijke foutenaantallen

Om voedselscan-apps eerlijk te vergelijken, geef je ze dezelfde taken met dezelfde verpakkingen en bepaal je vooraf wat als succes geldt. Een paar aantrekkelijke schermafbeeldingen bewijzen geen nauwkeurigheid, en een test van één functie beoordeelt niet alle functies van een app.

Kies een afgebakende taak

Begin met iets waarneembaars, zoals het uitlezen van het portiegewicht en de hoeveelheid van een benoemde voedingsstof op een leesbaar etiket. Maak een referentietranscriptie van de verpakking en controleer die onafhankelijk voordat je gaat testen. De etikettenwijzer van de Amerikaanse FDA kan helpen om de velden te begrijpen; hij certificeert jouw test of een app niet.

Leg de identiteit van elk verpakt product en de bronafbeelding vast. Kies een gevarieerde maar beheersbare verzameling en beschrijf de beperkingen: bijvoorbeeld alleen Engelstalige verpakkingen van droge voedingsmiddelen, gefotografeerd bij goed licht. Noem die steekproef niet representatief voor elke winkelsituatie.

Gebruik dezelfde werkwijze

Noteer de appversie, het apparaat, de datum, de invoerafbeelding en de relevante instellingen. Beslis vooraf of herhaalde pogingen en handmatige correcties zijn toegestaan. Test je in de ene app een barcodeproces en in de andere het omzetten van een afbeelding naar tekst, rapporteer die dan als verschillende taken en beweer niet dat het een rechtstreekse nauwkeurigheidswedstrijd is.

Bewaar de onbewerkte uitvoer voordat je iets corrigeert. Houd verkeerde productidentificaties, fouten in hoeveelheden, eenheidsfouten, ontbrekende velden en onleesbare referentievelden afzonderlijk bij. Een koppeling aan het verkeerde product mag niet als geslaagd uitlezen tellen alleen omdat de getoonde cijfers aannemelijk lijken.

Rapporteer de noemers eerlijk

Bij een hypothetische test van 12 verpakkingen met elk vier beoordeelde velden zijn 48 veldcontroles gepland. Als twee referentievelden onleesbaar zijn, rapporteer dan 46 beoordeelbare controles en twee uitgesloten controles, met redenen. Komen 42 van de 46 beoordeelbare uitkomsten overeen, vermeld dan 42/46 in plaats van daaruit in het algemeen te concluderen dat de app onder alle omstandigheden nauwkeurig is.

Rapporteer ook hoe volledig elke verpakking is verwerkt. Meerdere veldfouten op één verpakking vertellen iets anders dan één fout op elk van meerdere verpakkingen. De benodigde tijd kan nuttig zijn, maar maak onderscheid tussen automatische verwerkingstijd en tijd voor het controleren en herstellen van resultaten.

Deel je de beoordeling, publiceer dan de werkwijze, beperkingen van de steekproef en waargenomen aantallen samen. Kies geen nieuwe uitsluitingen nadat je hebt gezien welke app daarvan profiteert. Dit voorbeeld rapporteert geen werkelijke appprestaties; het is een methode om bewijs te verzamelen voordat je een aanbeveling doet.