Jämför appar för matskanning med samma förpackningar och tydliga antal fel

För att jämföra appar för matskanning rättvist ska de få samma uppgifter på samma förpackningar, och kriterierna för ett lyckat resultat ska fastställas innan resultaten granskas. Några tilltalande skärmbilder bevisar inte träffsäkerhet, och ett test av en funktion bedömer inte alla funktioner som en app erbjuder.

Välj en avgränsad uppgift

Börja med något som går att observera, till exempel att läsa ut portionsvikten och mängden av ett namngivet näringsämne från en läsbar etikett. Gör en referensavskrift från förpackningen och kontrollera den oberoende före testet. Den amerikanska FDA:s guide till att läsa etiketter kan hjälpa dig att tolka fälten; den certifierar varken ditt test eller någon app.

Dokumentera varje förpackad produkts identitet och ursprungsbilden. Välj ett varierat men hanterbart urval och beskriv dess begränsningar: till exempel enbart engelskspråkiga förpackningar med torra livsmedel, fotograferade i bra ljus. Beskriv inte urvalet som representativt för alla inköpssituationer.

Använd samma förfarande

Anteckna appversion, enhet, datum, inmatningsbild och relevanta inställningar. Bestäm i förväg om nya försök och manuella korrigeringar är tillåtna. Testar du ett streckkodsflöde i en app och bildavskrift i en annan, redovisa det som olika uppgifter i stället för att hävda att det är en direkt jämförelse av träffsäkerheten.

Spara råresultaten innan du rättar något. Följ upp felaktig produktidentifiering, mängdfel, enhetsfel, saknade fält och oläsbara referensfall var för sig. En matchning mot fel produkt ska inte räknas som lyckad avläsning bara för att siffrorna som visas verkar rimliga.

Redovisa nämnarna ärligt

I ett hypotetiskt test av 12 förpackningar med fyra bedömda fält vardera planeras 48 fältkontroller. Om två referensfält är oläsbara, redovisa 46 bedömbara kontroller och två uteslutna kontroller med skäl. Om 42 av de 46 bedömbara resultaten stämmer, ange 42/46 i stället för att omvandla resultatet till ett generellt påstående om att appen är korrekt under alla förhållanden.

Redovisa också hur fullständigt varje förpackning har behandlats. Flera fältfel på en enda förpackning ger en annan bild än ett fel på var och en av flera förpackningar. Tiden för att bli klar kan vara användbar, men skilj automatisk behandlingstid från tid som går åt till att kontrollera och rätta resultaten.

Om du delar utvärderingen, publicera förfarandet, urvalets begränsningar och de observerade antalen tillsammans. Undvik att välja nya uteslutningar efter att du sett vilken app de gynnar. Exemplet redovisar ingen verklig apprestanda; det är en metod för att samla belägg innan du ger en rekommendation.