OpenAI lança guia para avaliações independentes de modelos de IA de fronteira

A OpenAI não está só pedindo auditorias de terceiros: está redesenhando como elas devem ser feitas. O guia lançado em 29 de maio, intitulado 'A shared playbook for trustworthy third party evaluations', é um manual técnico rigoroso, não um comunicado de boas intenções. Ele exige que avaliadores especifiquem com precisão a 'alegação' testada (ex.: 'o modelo evita gerar instruções para síntese de toxinas'), definam o 'harness' completo (ferramentas, estado, ambiente) e relatem seis ameaças concretas à validade, como 'reward hacking' ou 'sandbagging'. Isso muda o jogo: agora uma avaliação que usa apenas prompts simples e respostas de turno único pode ser descartada como tecnicamente inválida.

O documento também impõe uma mudança prática imediata: a OpenAI vai desligar sua plataforma antiga de Evals em novembro de 2026, migrando toda a avaliação de modelos de terceiros para sua infraestrutura principal, incluindo modelos do Google e Anthropic no Amazon Bedrock. Ou seja, o guia não é teórico; ele já está sendo operacionalizado na arquitetura de acesso à IA da empresa.

Em 30 de maio, a OpenAI publicou seu Framework de Governança para IA de Fronteira, um documento normativo interno. Dois dias depois, com o guia de avaliações independentes, ela transformou essa governança em uma exigência externa aplicável a qualquer laboratório, universidade ou órgão regulador que queira auditar seus modelos. Antes, as avaliações eram voluntárias e fragmentadas; agora, há um padrão obrigatório de metodologia, reporte e infraestrutura. A mudança mais concreta é a migração forçada dos testes para a plataforma principal da OpenAI, encerrando o isolamento da ferramenta Evals, o que significa que comparações entre modelos concorrentes passam a rodar sob as mesmas condições técnicas, não sob implementações distintas.

Esse guia não é sobre confiança, mas sobre controvérsia controlada. Ao padronizar como se mede risco em IA de fronteira, a OpenAI antecipa e molda os requisitos legais que estão chegando: a Lei de Transparência em IA de Fronteira da Califórnia (SB 53) e o Código de Prática da Lei de IA da UE já citam 'avaliações independentes' como critério de conformidade. Se o governo dos EUA propôs auditorias voluntárias em 2 de junho, a OpenAI já exige as suas, com detalhes técnicos que tornam difícil para reguladores ignorarem esse nível de exigência. Para empresas brasileiras que usam GPT-5.5 via AWS ou Bedrock, isso significa que qualquer relatório de segurança que não siga esse playbook pode ser considerado tecnicamente insuficiente em processos de compliance internacional.