用相同包装和明确错误计数比较食品扫描应用

要公平比较食品扫描应用，应让它们对相同包装完成相同任务，并在查看结果前定义成功标准。几张好看的截图不能证明准确性，对一项功能的测试也不能评估应用提供的全部功能。

选择范围明确的小任务

从可观察的任务开始，例如从清晰可读的标签中提取每份重量和某种指定营养成分的数量。根据包装制作一份参考抄录，并在测试前独立核对。美国 FDA 的营养标签阅读指南可以帮助理解字段，但它并不认证你的测试或任何应用。

记录每件包装商品的身份信息及原始图片。选择多样但规模可控的样本，并说明其限制：例如，只包含在良好光线下拍摄的英文标签干燥食品包装。不要声称这样的样本能代表所有购物情境。

使用相同流程

记录应用版本、设备、日期、输入图片和相关设置。事先决定是否允许重试与人工修正。如果在一个应用中测试条码流程，在另一个应用中测试图片文字转录，应说明它们是不同任务，不要宣称这是准确性的直接对决。

在做任何修正前保存原始输出。分别追踪商品身份匹配错误、数量错误、单位错误、字段缺失以及参考内容不可读的情况。不能仅因显示出的数字看起来合理，就把匹配到错误商品算作提取成功。

如实报告分母

假设测试 12 件包装商品，每件评估四个字段，计划进行的字段检查共有 48 次。如果两个参考字段不可读，应报告 46 次可评价检查，以及两次排除项和原因。如果 46 项可评价输出中有 42 项匹配，应写明 42/46，而不是把结果扩大为应用在所有条件下都准确的笼统结论。

同时报告每件包装商品的完成情况。多个字段错误集中在一件商品上，与多件商品各出现一个错误，反映的是不同情况。完成耗时可能有用，但要区分自动处理时间与检查、修正结果所花的时间。

分享评估时，应一并公布流程、样本限制和实际观察计数。不要在看到排除项有利于哪个应用之后，再选择新的排除项。这个例子没有报告任何真实应用的性能；它是一套在形成推荐之前收集证据的方法。