เปรียบเทียบแอปสแกนอาหารด้วยบรรจุภัณฑ์เดียวกันและจำนวนข้อผิดพลาดที่ชัดเจน
ออกแบบการประเมินขนาดเล็กที่ทำซ้ำได้ โดยรายงานงานที่ทดสอบ ตัวหาร และความไม่แน่นอน โดยไม่สร้างข้อสรุปว่ามีผู้ชนะในทุกสถานการณ์
หากต้องการเปรียบเทียบแอปสแกนอาหารอย่างเป็นธรรม ให้แต่ละแอปทำงานเดียวกันกับบรรจุภัณฑ์เดียวกัน และกำหนดความสำเร็จก่อนดูผลลัพธ์ ภาพหน้าจอที่ดูดีเพียงไม่กี่ภาพไม่ได้พิสูจน์ความแม่นยำ และการทดสอบคุณสมบัติหนึ่งไม่ได้ประเมินคุณสมบัติทั้งหมดของแอป
เลือกงานที่มีขอบเขตจำกัด
เริ่มจากสิ่งที่สังเกตได้ เช่น การดึงน้ำหนักต่อหน่วยบริโภคและปริมาณสารอาหารที่ระบุชื่อจากฉลากที่อ่านได้ จัดทำข้อมูลถอดข้อความอ้างอิงจากบรรจุภัณฑ์และตรวจสอบอย่างเป็นอิสระก่อนทดสอบ คู่มือการอ่านฉลากของ FDA สหรัฐอเมริกา ช่วยตีความช่องข้อมูลได้ แต่ไม่ได้รับรองการทดสอบของคุณหรือแอปใด ๆ
บันทึกข้อมูลระบุผลิตภัณฑ์ของแต่ละบรรจุภัณฑ์และภาพต้นทาง เลือกชุดตัวอย่างที่หลากหลายแต่ยังจัดการได้ และอธิบายข้อจำกัด เช่น มีเฉพาะบรรจุภัณฑ์อาหารแห้งที่มีฉลากภาษาอังกฤษและถ่ายในแสงที่ดี อย่าอธิบายว่าตัวอย่างนั้นเป็นตัวแทนของทุกสถานการณ์ในการซื้อของ
ใช้ขั้นตอนเดียวกัน
บันทึกเวอร์ชันแอป อุปกรณ์ วันที่ ภาพที่ป้อน และการตั้งค่าที่เกี่ยวข้อง ตัดสินใจล่วงหน้าว่าอนุญาตให้ลองซ้ำและแก้ไขด้วยมือหรือไม่ หากทดสอบขั้นตอนบาร์โค้ดในแอปหนึ่งและการถอดข้อความจากภาพในอีกแอป ให้รายงานว่าเป็นงานคนละชนิด แทนการอ้างว่าเป็นการแข่งขันความแม่นยำโดยตรง
เก็บผลลัพธ์ดิบก่อนแก้ไขสิ่งใด แยกบันทึกการระบุผลิตภัณฑ์ผิด ข้อผิดพลาดด้านปริมาณ ข้อผิดพลาดด้านหน่วย ช่องข้อมูลที่ขาด และกรณีที่ข้อมูลอ้างอิงอ่านไม่ออก การจับคู่กับผลิตภัณฑ์ผิดไม่ควรถูกนับเป็นการดึงข้อมูลที่สำเร็จ เพียงเพราะตัวเลขที่แสดงดูสมเหตุสมผล
รายงานตัวหารอย่างตรงไปตรงมา
ในการทดสอบสมมติที่ใช้ 12 บรรจุภัณฑ์และให้คะแนนสี่ช่องข้อมูลต่อบรรจุภัณฑ์ จะมีการตรวจช่องข้อมูลตามแผน 48 ครั้ง หากข้อมูลอ้างอิงสองช่องอ่านไม่ออก ให้รายงานการตรวจที่ประเมินได้ 46 ครั้ง และสองครั้งที่ตัดออกพร้อมเหตุผล หากผลลัพธ์ 42 รายการจาก 46 รายการที่ประเมินได้ตรงกัน ให้ระบุ 42/46 แทนการขยายผลเป็นคำกล่าวว่าแอปแม่นยำในทุกสภาวะ
รายงานความครบถ้วนในระดับบรรจุภัณฑ์ด้วย ข้อผิดพลาดหลายช่องที่กระจุกอยู่ในบรรจุภัณฑ์เดียวให้ภาพต่างจากการมีหนึ่งข้อผิดพลาดในแต่ละบรรจุภัณฑ์จากหลายบรรจุภัณฑ์ เวลาในการทำงานจนเสร็จอาจมีประโยชน์ แต่ต้องแยกเวลาประมวลผลอัตโนมัติออกจากเวลาที่ใช้ตรวจสอบและแก้ไขผลลัพธ์
หากเผยแพร่การประเมิน ให้เผยแพร่ขั้นตอน ข้อจำกัดของตัวอย่าง และจำนวนที่สังเกตได้พร้อมกัน หลีกเลี่ยงการเลือกตัดข้อมูลเพิ่มเติมหลังจากเห็นว่าจะเอื้อประโยชน์ให้แอปใด ตัวอย่างนี้ไม่ได้รายงานประสิทธิภาพจริงของแอปใด แต่เป็นวิธีเก็บหลักฐานก่อนให้คำแนะนำ