Comparez les applications de scan alimentaire avec les mêmes emballages et un décompte explicite des erreurs

Pour comparer équitablement des applications de scan alimentaire, donnez-leur les mêmes tâches sur les mêmes emballages et définissez la réussite avant de regarder les résultats. Quelques captures d’écran attrayantes ne démontrent pas l’exactitude, et tester une fonction ne revient pas à évaluer toutes les fonctions d’une application.

Choisissez une tâche bien délimitée

Commencez par un élément observable, comme extraire le poids d’une portion et la quantité d’un nutriment donné sur une étiquette lisible. Créez une transcription de référence à partir de l’emballage et faites-en une vérification indépendante avant le test. Le guide de lecture des étiquettes de la FDA américaine peut aider à interpréter les champs ; il ne certifie ni votre test ni une application.

Consignez l’identité de chaque produit emballé et son image source. Choisissez un ensemble varié, mais gérable, et décrivez ses limites : par exemple, uniquement des emballages d’aliments secs avec des étiquettes en anglais, photographiés sous un bon éclairage. Ne présentez pas cet échantillon comme représentatif de toutes les situations d’achat.

Appliquez la même procédure

Consignez la version de l’application, l’appareil, la date, l’image fournie et les réglages pertinents. Décidez à l’avance si les nouvelles tentatives et les corrections manuelles sont autorisées. Si vous testez un parcours par code-barres dans une application et la transcription d’une image dans une autre, présentez-les comme des tâches distinctes, sans prétendre comparer directement leur exactitude.

Enregistrez les sorties brutes avant toute correction. Suivez séparément les erreurs d’identification du produit, de quantité et d’unité, les champs manquants et les cas où la référence est illisible. Une correspondance avec le mauvais produit ne doit pas compter comme une extraction réussie au seul motif que les chiffres affichés semblent plausibles.

Indiquez honnêtement les dénominateurs

Dans un test hypothétique portant sur 12 emballages avec quatre champs évalués chacun, 48 vérifications de champs sont prévues. Si deux champs de référence sont illisibles, indiquez 46 vérifications évaluables et deux exclusions motivées. Si 42 des 46 résultats évaluables concordent, indiquez 42/46 au lieu d’en tirer une affirmation générale selon laquelle l’application est exacte dans toutes les conditions.

Indiquez aussi le degré de complétude par emballage. Plusieurs erreurs de champ concentrées sur un emballage racontent autre chose qu’une erreur sur chacun de plusieurs emballages. Le temps nécessaire peut être utile, mais distinguez le traitement automatique du temps passé à vérifier et à corriger les résultats.

Si vous partagez l’évaluation, publiez ensemble la procédure, les limites de l’échantillon et les décomptes observés. Évitez de choisir de nouvelles exclusions après avoir vu quelle application elles avantagent. Cet exemple ne présente aucune performance réelle d’application ; il propose une méthode pour recueillir des éléments probants avant de formuler une recommandation.