Ai2 mostra que LLMs ainda são juízes pouco confiáveis para avaliar a novidade de ideias de pesquisa

A Ai2 publicou Old Ideas, Novel Problems, estudo sobre a confiabilidade de LLMs que julgam a novidade de ideias de pesquisa (os chamados novelty judges). Junto com o paper saem benchmark, dados, código e um pipeline automatizado para montar novos conjuntos de avaliação. É lançamento disponível, não promessa.

O benchmark parte de peer reviews do ICLR 2026. Em vez de usar aceitação do paper como proxy de novidade, a Ai2 extraiu trechos em que revisores discutem originalidade. São 154 ideias de alta novidade (artigos aceitos, top 10% da área) e 145 de menor novidade (rejeitados, bottom 10%). Num segundo cenário, Human+Generated, as 154 ideias humanas validadas foram pareadas com 154 ideias de um gerador simples, tratadas como menos novas por suposição (rótulos fracos, segundo a própria Ai2). Um especialista revisou 30 pares e preferiu a ideia humana em todos.

Os números mostram instabilidade. No GPT-5.4, trocar o prompt derrubou a acurácia de 93,5% para 40,9% nos pares Human+Generated, abaixo do acaso. No conjunto só com humanos, a mesma troca moveu cerca de sete pontos. No Claude Opus 4.6, a mudança foi de 21 pontos. Em comparações entre geradores de IA, de um quarto a um terço dos veredictos mudou com variações de prompt.

Sobre custo: um juiz agêntico com raciocínio extra-alto e busca iterativa no arXiv fez 0,78 de macro-F1, contra 0,89 do Claude Opus 4.6, a cerca de 10 vezes o custo por decisão. Um prompt simples no Opus 4.6, com raciocínio baixo e voto majoritário em três chamadas, chegou a 0,854 por US$ 2,59. O Idea Novelty Checker marcou 0,642 (US$ 30,66) e o AI Scientist da Sakana AI, 0,772 (US$ 82,05).

Para quem monta pipelines de geração de ideias ou agentes de pesquisa, o recado é prático: um placar de novidade sem teste de sensibilidade a prompt e a modelo pode medir o prompt, não a ideia. Validar o juiz só em texto humano dá uma falsa sensação de estabilidade. E gastar mais em retrieval e raciocínio não garantiu ganho, o que pesa na conta de operação.