同じ食品パッケージと明確な誤り件数でスキャンアプリを比較する

食品スキャンアプリを公平に比較するには、同じパッケージで同じ課題を与え、結果を見る前に成功の基準を決めます。見栄えのよいスクリーンショットが数枚あっても正確さの証明にはならず、一つの機能のテストでアプリの全機能を評価することもできません。

範囲を絞った課題を選ぶ

読み取れるラベルから、表示上の1回分の重量と指定した栄養成分の量を抽出するなど、観察できる作業から始めます。パッケージの内容を書き写して照合用の基準データを作り、テスト前に独立して確認します。米国FDAの栄養表示の読み方ガイドは項目の解釈に役立ちますが、あなたのテストやアプリを認証するものではありません。

各パッケージの商品を特定する情報と元画像を記録します。多様性があり、無理なく扱える範囲のサンプルを選び、その限界も説明します。例えば、明るい環境で撮影した、英語表示の乾燥食品パッケージだけ、といった条件です。そのサンプルを、すべての買い物場面を代表するものと説明してはいけません。

同じ手順を使う

アプリのバージョン、端末、日付、入力画像、関係する設定を記録します。再試行や手動修正を認めるかどうかは先に決めておきます。一方のアプリでバーコードの処理、他方で画像からの文字起こしを試す場合は、正確さを直接競うテストとはせず、異なる課題として報告します。

何かを修正する前に、生の出力を保存します。商品の取り違え、数量の誤り、単位の誤り、項目の欠落、基準データを読み取れないケースを別々に記録します。表示された数字がもっともらしく見えても、別の商品に一致した結果を抽出成功に数えてはいけません。

分母を正直に示す

12個のパッケージでそれぞれ四つの項目を採点する仮のテストなら、予定される項目チェックは48件です。基準となる二つの項目が読み取れない場合は、評価可能な46件と、除外した二件およびその理由を報告します。評価可能な46件の出力のうち42件が一致したなら、42/46と示します。それを、あらゆる条件でアプリが正確だという広い主張に置き換えてはいけません。

パッケージ単位での完了状況も報告します。一つのパッケージに複数の項目エラーが集中している場合と、複数のパッケージでそれぞれ一つずつ誤りがある場合とでは、意味が異なります。完了までの時間も役立ちますが、自動処理の時間と、結果の確認や修正に使った時間を区別します。

評価を共有する場合は、手順、サンプルの限界、観察した件数をまとめて公開します。どのアプリに有利になるかを見てから、新たな除外条件を選ぶことは避けてください。この例は実際のアプリ性能を報告するものではありません。推薦を行う前に、証拠を集めるための方法です。