Google lança o PLE, benchmark aberto para agentes de IA em engenharia física; nenhum modelo passou de 50%

O PLE (Physical-Engineering's Last Exam) é um benchmark e competição aberta que o Google AI & Infrastructure desenvolveu com a Mercor. Ele reúne 85 tarefas de longo horizonte: 30 de engenharia mecânica, 27 elétrica, 18 civil e 10 estrutural. O agente não responde a um prompt único. Trabalha dentro de uma pasta de projeto em contêiner, construída sobre o ambiente Archipelago da Mercor, com média de 61 arquivos por tarefa (5.170 no total). Há PDFs, planilhas, e-mails, desenhos CAD 2D, modelos BIM 3D e revisões de documentos. O agente precisa achar as normas aplicáveis e os limites físicos, rodar cálculos e entregar material pronto para produção, que um revisor licenciado aprovaria.

A pontuação é rígida. Como o PLE mede conformidade com normas e eficiência de custo, o agente só ganha pontos se o projeto passar antes em todas as verificações de segurança. Foram testados 14 frontier models em sete harnesses públicos (Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands e Pi). Nenhum passou de 50% no conjunto de teste privado, e o melhor, no harness nativo, chegou a 48,3% de média. A configuração líder satisfez 91% das restrições individuais nas tarefas coautoradas, mas só 41,3% das entregas passaram em todas as checagens de segurança e viabilidade. O modelo pesa muito mais que o harness: até 50 pontos de diferença entre modelos, contra mediana de 3 pontos entre harnesses para o mesmo modelo. Os harnesses, porém, mudam bastante o custo de execução.

Das tarefas, 44 foram escritas por engenheiros e 41 coautoradas, com ambiente e avaliador montados por um pipeline de agentes a partir de normas licenciáveis e depois validadas e endurecidas por engenheiros. Estão abertos 29 tarefas públicas, os scripts de avaliação e o leaderboard em ple-bench.com. O envio ao conjunto privado tem 13 modelos patrocinados pelo Google rodando de graça, e os detalhes de prêmio ainda vão sair.

Para quem constrói agentes, o dado mais útil é a distância entre 91% de restrições atendidas e 41,3% de entregas aprovadas. Isso sugere que, em domínio regulado, acertar a maior parte não basta: uma falha de segurança zera o resultado. Também indica que trocar de harness rende pouco comparado a trocar de modelo, embora o custo de execução varie. É uma leitura editorial, mas ela aponta onde o esforço de avaliação deve se concentrar.