Moderadores de IA descobrem tanto quanto moderadores humanos? Teste aponta que não

O teste da MeasuringU comparou moderadores humanos e de IA em um ensaio randomizado com 20 participantes de Denver, divididos em cinco por célula (tipo de moderador cruzado com gênero). O moderador de IA rodou em Gemini 3 Flash, com avatares fotorrealistas e vozes de dois pesquisadores que também conduziram as sessões humanas. Eram vários agentes em sequência, cada um cobrindo um tópico e passando um resumo ao próximo, para parecer uma conversa só. O cenário era um estudo de descoberta para um produto fictício de despertar e gestão do sono, com um roteiro de cinco perguntas e liberdade para aprofundar além dele.

Dois codificadores humanos, que não moderaram nenhuma sessão, leram as 20 transcrições sem lista prévia de temas. Surgiram oito temas, e o Claude fez uma checagem como terceiro codificador. A concordância foi de justa a moderada (kappa de 0,38 a 0,44). Sessões humanas tiveram em média 6,9 dos oito temas, contra 5,0 nas de IA (p = 0,004 na codificação do Claude). Os codificadores humanos apontaram a mesma direção. As sessões de IA foram 37% mais curtas e os participantes falaram 45% menos palavras por minuto.

O maior buraco foi o tema sleep climate (temperatura e ruído do quarto), que o roteiro nunca pedia. Apareceu em seis a nove de dez sessões humanas e em zero a uma de dez sessões de IA. A IA chegou a tocar no quarto em três sessões, mas só como hipótese dentro da pergunta sobre o despertar ideal, e ouviu pouco. Os próprios autores ressalvam que esse tema foi separado depois de ver a diferença por condição, então é exploratório. Nos seis temas guiados pelo roteiro, a distância ficou em cerca de 8 pontos. Nos dois sem cobertura, foi de 30 e 73 pontos. É um único estudo, com um único roteiro e um moderador de IA próprio.

A cobertura anterior do CEVIU aponta para o mesmo padrão em outras tarefas de pesquisa. Em 2 de junho de 2026, o CEVIU noticiou "IA encontra problemas reais de UI ou apenas alucina?": dois LLMs identificaram cerca de metade dos problemas de usabilidade achados por humanos, e ainda sinalizaram 11 questões que nenhum avaliador humano mapeou. Em 19 de outubro de 2026, em "Pesquisa de UX: IA e Usuários Sintéticos Convergem, Mas Variação Humana Permanece Insuperável", o veículo registrou que respostas sintéticas variam bem menos que as humanas. São estudos diferentes, com objetos diferentes, mas o teste atual acrescenta a etapa da condução da entrevista: aqui a IA cobre o roteiro e perde o que está fora dele.

Para quem faz pesquisa de UX, a leitura é prática: um moderador de IA tende a funcionar bem em estudo avaliativo, com perguntas fechadas no roteiro. Em pesquisa exploratória, onde você não sabe o que perguntar, o risco é a IA entregar um relatório limpo que não traz justamente a descoberta que gera oportunidade de produto. Vale tratar o roteiro como o piso do que a IA cobre e manter humanos nas entrevistas de descoberta, ao menos até haver mais replicações.