A IA Consegue Detectar Problemas de Usabilidade?

A IA pode analisar vídeos de testes de usabilidade amostrando quadros, transcrevendo áudio e gerando descrições plausíveis do comportamento do usuário. No entanto, este processo é "lossy" e propenso à inconsistência. Em um teste com uma sessão de usabilidade de seis minutos do OpenTable, o ChatGPT identificou sete problemas específicos, como um campo de busca que descartava seleções de culinária ao mudar a localização e resultados que exibiam restaurantes não relacionados a sushi. A precisão, confiabilidade e o alignment desses achados com o que pesquisadores humanos identificariam permanecem uma questão em aberto para pesquisas futuras.