Dá para confiar em LLMs para julgar se uma ideia de pesquisa é inédita? Benchmark da Ai2 indica que não

O estudo Old Ideas, Novel Problems, da Ai2, parte de um problema prático: quando um sistema de IA gera ideias de pesquisa, alguém precisa dizer se elas são novas. Hoje isso costuma ficar com outro LLM, o chamado novelty judge. Não há receita padrão. Cada time escolhe modelo, prompt, formato de avaliação, orçamento de raciocínio e, às vezes, um sistema de busca na literatura. Essas escolhas mudam o veredito.

O benchmark usa revisões por pares do ICLR 2026. A Ai2 não tratou aceitação como sinal de novidade. Minerou os trechos em que revisores discutiam originalidade. Saíram 154 ideias de alta novidade (artigos aceitos no top 10% da área, com novidade elogiada e sem contestação) e 145 de baixa novidade (rejeitados no bottom 10%, com dúvidas sobre originalidade). Num segundo cenário, Human+Generated, as 154 ideias humanas foram pareadas com 154 geradas por um LLM simples, tratadas como rótulos fracos. Seis juízes foram testados: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 e Claude Opus 4.6.

O maior efeito veio do prompt. No GPT-5.4, trocar um prompt que dizia que exatamente uma ideia do par era nova por outro que apenas perguntava qual era nova derrubou a acurácia de 93,5% para 40,9%, abaixo do acaso. No Human-Only, a mesma troca moveu cerca de sete pontos, e 21 pontos no Claude Opus 4.6. Mais busca e raciocínio também não resolveram: o juiz agêntico com busca iterativa no arXiv fez 0,78 de macro-F1, contra 0,89 do Claude Opus 4.6, a cerca de 10 vezes o custo por decisão. Um prompt simples do Opus 4.6 com raciocínio baixo e voto majoritário em três chamadas teve 0,854 a US$ 2,59. O Idea Novelty Checker marcou 0,642 (US$ 30,66) e o AI Scientist, da Sakana AI, 0,772 (US$ 82,05).

Em 27 de outubro de 2026, o CEVIU noticiou "Ai2 mostra que LLMs ainda são juízes pouco confiáveis para avaliar a novidade de ideias de pesquisa", sobre o lançamento do mesmo estudo, com benchmark, dados e código. A cobertura atual detalha os números do trabalho: a construção dos conjuntos a partir do ICLR 2026, a queda de acurácia por mudança de prompt e a comparação de custo entre juízes simples e sistemas dedicados.

Para quem usa LLM como juiz em avaliações ou pipelines de IA, a leitura é direta: um juiz que parece estável em texto humano pode oscilar muito em conteúdo gerado por IA. Antes de confiar no veredito, vale testar a sensibilidade a prompt e a modelo nos tipos de ideia que você pretende avaliar. E, pelos números da Ai2, nem sempre pagar mais por busca e raciocínio compensa.