用相同包裝和明確錯誤計數比較食品掃描應用程式

要公平比較食品掃描應用程式，應讓它們對相同包裝完成相同任務，並在查看結果前定義成功標準。幾張好看的螢幕截圖不能證明準確性，對一項功能的測試也不能評估應用程式提供的全部功能。

選擇範圍明確的小任務

從可觀察的任務開始，例如從清晰可讀的標籤中擷取每份重量和某種指定營養成分的數量。根據包裝製作一份參考抄錄，並在測試前獨立核對。美國 FDA 的營養標籤閱讀指南可以幫助理解欄位，但它並不認證你的測試或任何應用程式。

記錄每件包裝商品的識別資訊及原始圖片。選擇多樣但規模可控的樣本，並說明其限制：例如，只包含在良好光線下拍攝的英文標籤乾燥食品包裝。不要聲稱這樣的樣本能代表所有購物情境。

使用相同流程

記錄應用程式版本、裝置、日期、輸入圖片和相關設定。事先決定是否允許重試與人工修正。如果在一個應用程式中測試條碼流程，在另一個應用程式中測試圖片文字轉錄，應說明它們是不同任務，不要宣稱這是準確性的直接對決。

在做任何修正前儲存原始輸出。分別追蹤商品識別配對錯誤、數量錯誤、單位錯誤、欄位缺漏，以及參考內容無法判讀的情況。不能僅因顯示出的數字看起來合理，就把配對到錯誤商品算作擷取成功。

如實報告分母

假設測試 12 件包裝商品，每件評估四個欄位，計畫進行的欄位檢查共有 48 次。如果兩個參考欄位無法判讀，應報告 46 次可評估檢查，以及兩次排除項和原因。如果 46 項可評估輸出中有 42 項相符，應寫明 42/46，而不是把結果擴大為應用程式在所有條件下都準確的籠統結論。

同時報告每件包裝商品的完成情況。多個欄位錯誤集中在一件商品上，與多件商品各出現一個錯誤，反映的是不同情況。完成所需時間可能有用，但要區分自動處理時間與檢查、修正結果所花的時間。

分享評估時，應一併公布流程、樣本限制和實際觀察計數。不要在看到排除項有利於哪個應用程式之後，再選擇新的排除項。這個例子沒有報告任何真實應用程式的效能；它是一套在形成推薦之前蒐集證據的方法。