Bandingkan aplikasi pemindai makanan dengan kemasan yang sama dan jumlah kesalahan yang jelas

Untuk membandingkan aplikasi pemindai makanan secara adil, berikan tugas yang sama pada kemasan yang sama dan tentukan keberhasilan sebelum melihat hasilnya. Beberapa tangkapan layar yang menarik tidak membuktikan akurasi, dan menguji satu fitur tidak berarti menilai semua fitur yang ditawarkan aplikasi.

Pilih tugas yang terbatas

Mulailah dengan sesuatu yang dapat diamati, seperti mengekstrak berat sajian dan jumlah zat gizi tertentu dari label yang terbaca. Buat transkripsi acuan dari kemasan dan verifikasi secara independen sebelum pengujian. Panduan membaca label dari FDA Amerika Serikat dapat membantu menafsirkan kolom data; panduan itu tidak memberikan sertifikasi atas pengujian Anda atau aplikasi mana pun.

Catat identitas setiap produk dalam kemasan dan gambar sumbernya. Pilih kumpulan yang bervariasi tetapi dapat dikelola, lalu jelaskan batasannya: misalnya, hanya kemasan makanan kering berlabel bahasa Inggris yang difoto dalam pencahayaan baik. Jangan menyebut sampel tersebut mewakili semua situasi berbelanja.

Gunakan prosedur yang sama

Catat versi aplikasi, perangkat, tanggal, gambar masukan, dan pengaturan yang relevan. Tentukan sebelumnya apakah percobaan ulang dan koreksi manual diperbolehkan. Jika Anda menguji alur kode batang di satu aplikasi dan transkripsi gambar di aplikasi lain, laporkan sebagai tugas berbeda, bukan sebagai pertandingan akurasi secara langsung.

Simpan keluaran mentah sebelum memperbaiki apa pun. Lacak secara terpisah salah identifikasi produk, kesalahan jumlah, kesalahan satuan, kolom yang hilang, dan kasus acuan yang tidak terbaca. Pencocokan dengan produk yang salah tidak boleh dihitung sebagai ekstraksi berhasil hanya karena angka yang ditampilkan tampak masuk akal.

Laporkan penyebut secara jujur

Dalam pengujian hipotetis atas 12 kemasan dengan empat kolom yang dinilai pada masing-masing kemasan, ada 48 pemeriksaan kolom yang direncanakan. Jika dua kolom acuan tidak terbaca, laporkan 46 pemeriksaan yang dapat dinilai dan dua pemeriksaan yang dikecualikan beserta alasannya. Jika 42 dari 46 keluaran yang dapat dinilai cocok, nyatakan 42/46, bukan mengubahnya menjadi klaim luas bahwa aplikasi akurat dalam semua kondisi.

Laporkan juga kelengkapan pada tingkat kemasan. Beberapa kesalahan kolom yang terkumpul pada satu kemasan menggambarkan keadaan berbeda dari satu kesalahan pada masing-masing dari beberapa kemasan. Waktu penyelesaian dapat berguna, tetapi bedakan waktu pemrosesan otomatis dari waktu yang digunakan untuk memeriksa dan memperbaiki hasil.

Jika membagikan evaluasi, publikasikan prosedur, batasan sampel, dan jumlah yang diamati secara bersamaan. Hindari memilih pengecualian baru setelah melihat aplikasi mana yang diuntungkan. Contoh ini tidak melaporkan kinerja nyata aplikasi mana pun; ini adalah metode untuk mengumpulkan bukti sebelum membuat rekomendasi.