Compare aplicativos de leitura de alimentos com as mesmas embalagens e contagens explícitas de erros

Para comparar aplicativos de leitura de alimentos de forma justa, dê a eles as mesmas tarefas nas mesmas embalagens e defina o sucesso antes de ver os resultados. Algumas capturas de tela atraentes não comprovam precisão, e testar uma função não avalia todas as funções de um aplicativo.

Escolha uma tarefa bem delimitada

Comece com algo observável, como extrair o peso da porção e a quantidade de um nutriente específico de um rótulo legível. Faça uma transcrição de referência da embalagem e verifique-a de forma independente antes do teste. O guia de leitura de rótulos da FDA dos Estados Unidos pode ajudar a interpretar os campos; ele não certifica seu teste nem qualquer aplicativo.

Registre a identificação de cada produto embalado e a imagem de origem. Escolha um conjunto variado, mas viável de avaliar, e descreva seus limites: por exemplo, apenas embalagens de alimentos secos com rótulos em inglês, fotografadas com boa iluminação. Não apresente essa amostra como representativa de todas as situações de compra.

Use o mesmo procedimento

Registre a versão do aplicativo, o dispositivo, a data, a imagem de entrada e as configurações relevantes. Decida antecipadamente se novas tentativas e correções manuais serão permitidas. Se testar um fluxo por código de barras em um aplicativo e transcrição de imagem em outro, informe que são tarefas diferentes, sem afirmar que constituem uma disputa direta de precisão.

Salve as saídas originais antes de corrigir qualquer coisa. Acompanhe separadamente as identificações incorretas de produto, os erros de quantidade, os erros de unidade, os campos ausentes e os casos de referência ilegível. Uma correspondência com o produto errado não deve contar como extração bem-sucedida só porque os números exibidos parecem plausíveis.

Informe os denominadores com honestidade

Em um teste hipotético de 12 embalagens com quatro campos avaliados em cada uma, estão previstas 48 verificações de campos. Se dois campos de referência forem ilegíveis, informe 46 verificações avaliáveis e duas excluídas, com os motivos. Se 42 das 46 saídas avaliáveis corresponderem à referência, declare 42/46, em vez de transformar o resultado em uma afirmação ampla de que o aplicativo é preciso em todas as condições.

Informe também a completude por embalagem. Vários erros de campo concentrados em uma embalagem contam uma história diferente de um erro em cada uma de várias embalagens. O tempo para concluir pode ser útil, mas diferencie o tempo de processamento automático do tempo gasto conferindo e corrigindo os resultados.

Se compartilhar a avaliação, publique juntos o procedimento, os limites da amostra e as contagens observadas. Evite escolher novas exclusões depois de ver qual aplicativo elas favorecem. Este exemplo não apresenta o desempenho real de nenhum aplicativo; é um método para reunir evidências antes de formular uma recomendação.