Сравнивайте приложения для сканирования продуктов на одинаковых упаковках и явно считайте ошибки
Спланируйте небольшую воспроизводимую оценку с указанием задач, знаменателей и неопределённости, не придумывая универсального победителя.
Чтобы честно сравнить приложения для сканирования продуктов, дайте им одинаковые задачи на одинаковых упаковках и определите критерии успеха до просмотра результатов. Несколько привлекательных снимков экрана не доказывают точность, а проверка одной функции не оценивает все функции приложения.
Выберите узкую задачу
Начните с чего-то наблюдаемого: например, извлечения массы порции и количества названного пищевого вещества с читаемой этикетки. Подготовьте эталонную расшифровку данных с упаковки и независимо проверьте её до тестирования. Руководство американского FDA по чтению этикеток может помочь в трактовке полей, но не сертифицирует ваш тест или какое-либо приложение.
Запишите идентификационные данные каждого упакованного продукта и исходное изображение. Выберите разнообразный, но посильный набор и опишите его ограничения: например, только англоязычные упаковки сухих пищевых продуктов, снятые при хорошем освещении. Не называйте такую выборку представительной для любой ситуации покупки.
Используйте одинаковую процедуру
Запишите версию приложения, устройство, дату, входное изображение и существенные настройки. Заранее решите, разрешены ли повторные попытки и ручные исправления. Если в одном приложении вы проверяете работу со штрихкодом, а в другом — распознавание текста изображения, сообщайте о разных задачах, а не заявляйте о прямом соревновании в точности.
Сохраните необработанные результаты до любых исправлений. Отдельно учитывайте неверную идентификацию продукта, ошибки количества, ошибки единиц, пропущенные поля и случаи нечитаемых эталонных данных. Совпадение с неверным продуктом нельзя считать успешным извлечением лишь потому, что показанные числа выглядят правдоподобно.
Честно указывайте знаменатели
В условном тесте 12 упаковок с четырьмя оцениваемыми полями на каждой запланировано 48 проверок полей. Если два эталонных поля нечитаемы, сообщите о 46 проверках, доступных для оценки, и двух исключённых проверках с указанием причин. Если совпадают 42 из 46 оцениваемых результатов, укажите 42/46, а не превращайте результат в широкое утверждение о точности приложения при любых условиях.
Также сообщите о полноте обработки каждой упаковки. Несколько ошибок полей, сосредоточенных на одной упаковке, дают иную картину, чем по одной ошибке на каждой из нескольких упаковок. Время выполнения может быть полезным, но отделяйте автоматическую обработку от времени, затраченного на проверку и исправление результатов.
Если делитесь оценкой, публикуйте вместе процедуру, ограничения выборки и наблюдаемые количества. Избегайте новых исключений после того, как увидите, какому приложению они выгодны. Этот пример не сообщает реальных показателей работы приложений: это метод сбора доказательств перед формированием рекомендации.