Terminal-Bench-Science 0.1: Avaliando Agentes de IA em Cenários Científicos Reais

A comunidade de IA agora tem um novo campo de testes: o Terminal-Bench-Science 0.1. Esta plataforma, liderada por pesquisadores da Universidade de Stanford, surge para avaliar agentes de IA em tarefas científicas complexas e reais. Longe dos benchmarks teóricos, ela desafia os modelos com 70 tarefas extraídas diretamente de rotinas de pesquisa nas ciências da vida, física, Terra, matemática e engenharia. O objetivo é ver como a IA se sai em cenários práticos, como análise de dados, inferência estatística, simulação, otimização e prova de teoremas. Por exemplo, o Claude Opus 5, um dos modelos mais fortes, alcançou apenas 30% de resolução.

A ideia é que a IA ajude cientistas a automatizar tarefas técnicas e demoradas. Isso liberaria tempo para que eles se concentrem na formulação de hipóteses, interpretação de resultados e definição de novas perguntas de pesquisa. A plataforma se baseia em contribuições de cientistas de várias áreas, que propõem e validam as tarefas, garantindo que os desafios reflitam as prioridades da comunidade científica e não apenas interesses externos.

O Terminal-Bench-Science 0.1 traz uma mudança significativa na abordagem de avaliação de IAs. Diferente de muitos benchmarks que são lançados uma única vez e acabam desatualizados, esta plataforma foi projetada para ser contínua. Ela promete evoluir junto com os avanços da IA de fronteira, adicionando novas tarefas e retirando outras à medida que os modelos melhoram. Esta filosofia cria um ciclo de feedback constante entre as necessidades científicas e o desenvolvimento da IA.

Além disso, enquanto o Terminal-Bench original focava na engenharia de software, esta nova versão estende a mesma ambição para o campo científico. Ela usa o mesmo rigor e a colaboração comunitária para garantir que as avaliações sejam relevantes e desafiadoras. A ideia é construir sobre o sucesso do Terminal-Bench original, mas agora aplicando seu modelo de avaliação a um espectro muito mais amplo de problemas científicos.

Esta nova ferramenta é crucial porque impulsiona o desenvolvimento de IAs mais úteis para a pesquisa científica. Ao focar em desafios reais, o Terminal-Bench-Science 0.1 mostra as lacunas atuais nos modelos de fronteira, direcionando a pesquisa para onde ela é mais necessária. A baixa taxa de resolução dos modelos atuais, como o Claude Opus 5 com 30%, é um sinal claro de que há muito espaço para aprimoramento na capacidade de agentes de IA em tarefas científicas.

O benchmark também fortalece a colaboração entre a comunidade científica e os desenvolvedores de IA. Ele fornece uma plataforma onde cientistas podem definir o que significa ser