Replicação assistida por IA deve virar etapa comum antes de submeter pesquisas a periódicos

A tese do texto é que um artigo científico bem escrito funciona como um prompt detalhado. Ele traz pergunta, dados, métodos, equações e premissas. Com o artigo, o material suplementar e os dados, um sistema de IA pode traduzir métodos em código, buscar dados, refazer figuras e comparar os números replicados com os publicados. O autor, Roger Pielke Jr., diz que uma segunda checagem independente por IA ajuda a filtrar erros introduzidos pela própria IA antes de o pesquisador avaliar o resultado. O julgamento de especialista humano segue essencial.

O gatilho foi a auditoria assistida por IA de 138 trabalhos dos economistas Emmanuel Saez e Gabriel Zucman, divulgada por Tyler Cowen. O relatório apontou 147 problemas graves (53 defeitos maiores e 94 escolhas contestadas) e concluiu que a direção dos resultados em geral sobrevive, mas as magnitudes de destaque muitas vezes não. Zucman chamou a auditoria de "AI hit job". Os auditores anônimos não publicaram código nem dados, o que, para Pielke, basta para ignorar o exercício. Ele também cita o estudo de Gary King e Steven Worthington, de Harvard, em que revisões feitas por IA foram preferidas por ex-editores em 26 de 30 casos (87%). Esse estudo avaliou revisão de manuscritos, não replicação.

Pielke relata ainda que replicou com o Claude Code um artigo próprio de 1999 sobre furacões e El Niño. A replicação confirmou os resultados e a extensão para as 28 temporadas seguintes manteve a relação. Dados, definições e métodos de normalização mudaram com o tempo, e isso exigiu julgamento humano. Ele propõe regras para replicações com IA: publicar todos os resultados, mostrar o código e os procedimentos, e disponibilizar tudo em repositório público.

Para quem trabalha com dados e software, a leitura é familiar: reproduzir resultado a partir de código e dados documentados é prática de engenharia. Se a IA derruba o custo disso na ciência, quem publica análise sem código aberto fica exposto. Vale também a ressalva do autor: replicação sem materiais abertos não é verificável, e auditoria por IA pode errar.