Porównuj aplikacje do skanowania żywności na tych samych opakowaniach i podawaj konkretne liczby błędów
Zaplanuj małą, odtwarzalną ocenę opisującą zadania, mianowniki i niepewność, bez wymyślania uniwersalnego zwycięzcy.
Aby uczciwie porównać aplikacje do skanowania żywności, zleć im te same zadania na tych samych opakowaniach i określ kryteria sukcesu przed obejrzeniem wyników. Kilka atrakcyjnych zrzutów ekranu nie dowodzi dokładności, a test jednej funkcji nie ocenia wszystkich funkcji aplikacji.
Wybierz wąsko określone zadanie
Zacznij od czegoś obserwowalnego, na przykład odczytania masy porcji i ilości określonego składnika odżywczego z czytelnej etykiety. Przygotuj zapis referencyjny na podstawie opakowania i zweryfikuj go niezależnie przed testem. Poradnik amerykańskiej FDA dotyczący czytania etykiet może pomóc w interpretacji pól; nie certyfikuje jednak twojego testu ani żadnej aplikacji.
Zapisz identyfikację każdego produktu w opakowaniu oraz obraz źródłowy. Wybierz zestaw zróżnicowany, ale możliwy do sprawdzenia, i opisz jego ograniczenia: na przykład wyłącznie anglojęzyczne opakowania suchej żywności sfotografowane przy dobrym oświetleniu. Nie przedstawiaj takiej próby jako reprezentatywnej dla każdej sytuacji zakupowej.
Stosuj tę samą procedurę
Zapisz wersję aplikacji, urządzenie, datę, obraz wejściowy i istotne ustawienia. Z góry ustal, czy dopuszczasz ponowne próby i ręczne poprawki. Jeśli w jednej aplikacji testujesz odczyt kodu kreskowego, a w innej przepisywanie danych z obrazu, opisz je jako różne zadania, zamiast twierdzić, że to bezpośrednie porównanie dokładności.
Zachowaj surowe wyniki, zanim cokolwiek poprawisz. Oddzielnie rejestruj błędne rozpoznanie produktu, błędy ilości, błędy jednostek, brakujące pola oraz przypadki nieczytelnych danych referencyjnych. Dopasowanie niewłaściwego produktu nie powinno liczyć się jako udane odczytanie tylko dlatego, że wyświetlone liczby wyglądają wiarygodnie.
Uczciwie podawaj mianowniki
W hipotetycznym teście 12 opakowań, po cztery oceniane pola na każde, planuje się 48 sprawdzeń pól. Jeśli dwa pola referencyjne są nieczytelne, podaj 46 sprawdzeń możliwych do oceny i dwa wyłączenia wraz z powodami. Jeśli zgadzają się 42 z 46 możliwych do oceny wyników, podaj 42/46, zamiast przedstawiać szerokie twierdzenie, że aplikacja jest dokładna w każdych warunkach.
Podaj również kompletność wyników dla poszczególnych opakowań. Kilka błędnych pól skupionych w jednym opakowaniu mówi coś innego niż jeden błąd w każdym z kilku opakowań. Czas wykonania może być przydatny, ale odróżniaj czas automatycznego przetwarzania od czasu sprawdzania i poprawiania wyników.
Jeśli udostępniasz ocenę, opublikuj razem procedurę, ograniczenia próby i zaobserwowane liczby. Unikaj dodawania nowych wyłączeń po sprawdzeniu, której aplikacji sprzyjają. Ten przykład nie przedstawia rzeczywistej skuteczności żadnej aplikacji; pokazuje metodę zbierania dowodów przed sformułowaniem rekomendacji.