O que são evals e como usá-las para testar agentes e o software que eles utilizam

O texto da Vercel parte de um problema prático: um agente pode concluir um pedido "com sucesso" e ainda assim entregar o resultado errado, como um latte quente quando o usuário queria gelado. Os logs na stack de Observability parecem normais, porque a requisição funcionou. Como as saídas de LLMs variam entre execuções, um teste manual bom não prova que uma correção resolveu algo. A eval repete as mesmas tarefas e avalia os resultados antes e depois da mudança.

A pirâmide proposta agrupa os testes pelo número de chamadas de LLM: determinísticos (0), evals de um turno (1) e evals E2E (2 ou mais). Para medir Success, o nível indicado é o E2E, já que o resultado depende da sequência inteira de passos. No exemplo do SF Beans, a eval usa o Harbor, que roda agentes em containers e registra tudo em traces. As métricas citadas são success rate, Pass@k e Pass^k, além de passos, tempo e custo medidos só nas tentativas bem-sucedidas. Com 60% de sucesso em cinco trials, o Pass@5 chega a cerca de 99%, mas o Pass^5 fica em cerca de 8%. A escolha da métrica depende do custo da falha para o usuário.

O tema já vinha sendo coberto pelo CEVIU. Em 20 de maio de 2026, o CEVIU noticiou "Avaliação de Agentes: Um Guia Detalhado", sobre a migração de benchmarks estáticos para harnesses realistas. Em 23 de setembro de 2026, veio "Avaliação de Agentes de IA: Além da Simples Chamada de Ferramentas", com foco em pontuação por etapa. Em 15 de outubro de 2026, o CEVIU publicou o texto sobre as metodologias da LangChain, que sugere analisar 10 a 20 exemplos de traces. Em 12 de novembro de 2026, saiu "Eval-driven development: como a LangChain propõe melhorar agentes de IA com evals". Esses textos tratam de avaliação de agentes em geral, e agora a Vercel traz um passo a passo concreto, com Harbor, métricas e um exemplo executável.

Para quem desenvolve APIs, CLIs ou MCP servers consumidos por agentes, a leitura é que logs verdes não bastam. Uma eval E2E pequena, focada em um problema real vindo de suporte ou de Observability, já mostra onde o agente erra. E escolher entre Pass@k e Pass^k é decisão de produto, não só de estatística.