So sánh ứng dụng quét thực phẩm bằng cùng bao bì và số lỗi được ghi rõ
Thiết kế một đánh giá nhỏ có thể lặp lại, nêu rõ tác vụ, mẫu số và sự không chắc chắn mà không bịa ra ứng dụng thắng trong mọi trường hợp.
Để so sánh công bằng các ứng dụng quét thực phẩm, hãy giao cho chúng cùng tác vụ trên cùng bao bì và xác định thế nào là thành công trước khi xem kết quả. Vài ảnh chụp màn hình hấp dẫn không chứng minh được độ chính xác, và kiểm tra một tính năng không đánh giá được mọi tính năng của ứng dụng.
Chọn một tác vụ có phạm vi hẹp
Bắt đầu bằng việc có thể quan sát, chẳng hạn trích xuất khối lượng khẩu phần và lượng của một chất dinh dưỡng cụ thể từ nhãn đọc được. Tạo bản chép dữ liệu tham chiếu từ bao bì và kiểm tra độc lập trước khi thử nghiệm. Hướng dẫn đọc nhãn của FDA Hoa Kỳ có thể hỗ trợ diễn giải các trường dữ liệu; hướng dẫn này không chứng nhận phép thử của bạn hay bất kỳ ứng dụng nào.
Ghi lại thông tin nhận diện từng sản phẩm đóng gói và ảnh nguồn. Chọn một tập mẫu đa dạng nhưng có thể quản lý, đồng thời mô tả giới hạn: ví dụ chỉ có bao bì thực phẩm khô với nhãn tiếng Anh, được chụp trong ánh sáng tốt. Đừng mô tả mẫu đó là đại diện cho mọi tình huống mua sắm.
Dùng cùng một quy trình
Ghi phiên bản ứng dụng, thiết bị, ngày, ảnh đầu vào và các cài đặt liên quan. Quyết định trước có cho phép thử lại và sửa thủ công hay không. Nếu thử quy trình mã vạch ở một ứng dụng và chép dữ liệu từ ảnh ở ứng dụng khác, hãy báo cáo đó là các tác vụ khác nhau thay vì khẳng định đây là cuộc so tài trực tiếp về độ chính xác.
Lưu đầu ra thô trước khi sửa bất cứ điều gì. Theo dõi riêng lỗi nhận diện sản phẩm, lỗi về lượng, lỗi đơn vị, trường bị thiếu và trường hợp dữ liệu tham chiếu không đọc được. Việc khớp nhầm sản phẩm không được tính là trích xuất thành công chỉ vì các con số hiển thị có vẻ hợp lý.
Báo cáo mẫu số trung thực
Trong một phép thử giả định gồm 12 bao bì, mỗi bao bì có bốn trường được chấm, dự kiến có 48 lượt kiểm tra trường. Nếu hai trường tham chiếu không đọc được, hãy báo cáo 46 lượt có thể đánh giá và hai lượt bị loại cùng lý do. Nếu 42 trong số 46 kết quả có thể đánh giá khớp với tham chiếu, hãy ghi 42/46 thay vì biến kết quả thành khẳng định rộng rằng ứng dụng chính xác trong mọi điều kiện.
Cũng cần báo cáo mức độ hoàn tất ở cấp từng bao bì. Nhiều lỗi trường tập trung trên một bao bì cho thấy tình hình khác với một lỗi trên mỗi bao bì trong số nhiều bao bì. Thời gian hoàn thành có thể hữu ích, nhưng hãy tách thời gian xử lý tự động khỏi thời gian kiểm tra và sửa kết quả.
Nếu chia sẻ đánh giá, hãy công bố cùng nhau quy trình, giới hạn mẫu và số lượng quan sát được. Tránh chọn thêm trường hợp loại trừ sau khi đã thấy chúng có lợi cho ứng dụng nào. Ví dụ này không báo cáo hiệu năng thực tế của bất kỳ ứng dụng nào; đây là phương pháp thu thập bằng chứng trước khi đưa ra đề xuất.