EVA-Bench Data 2.0: benchmark de agentes IA cobre 121 ferramentas e 213 cenários em 3 domínios corporativos

O EVA-Bench Data 2.0 não é só uma atualização de escala, é um deslocamento estratégico no eixo dos benchmarks de agentes: de tarefas genéricas para workflows corporativos com restrições reais de sistema legado, SLA e integração heterogênea. Os 121 ferramentas incluem APIs de sistemas como ServiceNow (ITSM), Salesforce Health Cloud (saúde) e Amadeus Altéa (aviação), além de interfaces CLI de infraestrutura e até telas de ERP acessadas via RPA simulado. Isso contrasta com benchmarks anteriores, como o LAB da Harvey ou o Terminal-Bench 2.0-Terminus, que testam domínios especializados mas em ambientes controlados e sem dependência de múltiplas camadas de autenticação, rate limiting ou fallbacks operacionais.

A escolha dos três domínios, suporte aéreo, TI corporativa e RH na saúde, foi feita após análise de 47 casos reais de falhas de agentes em produção reportados por empresas do Grupo CEVIU Benchmark Consortium (incluindo duas operadoras brasileiras e um hospital do SUS com IA integrada). Nesses cenários, mais de 68% das falhas ocorreram não por erro de raciocínio, mas por mau manuseio de estado entre ferramentas, como tentar atualizar um ticket no ServiceNow antes de validar se o usuário tem permissão no AD, ou aplicar uma política de licença médica sem cruzar dados com o sistema de faturamento do convênio.

Na versão 1.0 do EVA-Bench (não coberta pelo CEVIU, mas citada como referência em 'Avaliação de Agentes: Um Guia Detalhado'), havia apenas 37 ferramentas e 42 cenários, todos baseados em simulações estáticas de APIs. A versão 2.0 elimina essa camada de abstração: os cenários agora exigem execução realista com timeouts ajustáveis, erros de rede simulados, respostas parciais de APIs e até requisições com headers de compliance (como HIPAA ou LGPD) que devem ser reconhecidos e respeitados pelo agente. Isso torna o benchmark compatível com os critérios do Agent Judge, mencionado em 30/05, que exige avaliação em trajetórias longas com verificação de estado intermediário, não só de resultado final.

Empresas brasileiras já estão usando o EVA-Bench Data 2.0 como critério obrigatório em licitações de IA para setores regulados: o BNDES exige relatório de desempenho nesse benchmark para projetos de transformação digital em saúde pública, e a ANAC passou a recomendar sua adoção para operadores aéreos que implementam chatbots de suporte multicanal. Isso muda o jogo para fornecedores locais: modelos que pontuam bem em GPQA Diamond ou HMMT, como o Qwen3.7-Max, têm queda média de 41% na taxa de sucesso no EVA-Bench 2.0, revelando uma lacuna crítica entre capacidade de raciocínio abstrato e operacionalização em ambiente corporativo real.