Eval-driven development: como a LangChain propõe melhorar agentes de IA com evals

A LangChain chama de eval-driven development (EDD) um ciclo emprestado do TDD, adaptado a agentes que não são determinísticos: a saída varia, mais de uma resposta pode estar certa e o agente escolhe os próprios passos. Por isso o teste vira um eval, que pontua execuções sobre um conjunto de exemplos, com avaliadores em código (quando a checagem é determinística) ou LLM-as-a-judge (quando não é).

O processo tem três passos: definir como é o comportamento bom, escrever o eval antes de construir e fazer a mudança comparando experimentos. No exemplo do texto, um agente de documentação interna com as ferramentas search_docs e web_search ganha uma create_ticket. A média subiu, mas "How do I connect to the VPN?" passou a abrir ticket em vez de buscar na documentação. O trace mostrou a causa: a descrição da ferramenta citava "VPN and laptop issues". Restringir a descrição a pedidos que exigem ação de TI resolveu. A LangChain ainda alerta para overfitting (use um conjunto held-out), sugere rodar evals em pytest e Vitest nos pull requests e levar falhas do tráfego real de volta ao dataset via LangSmith.

Não é um produto novo, e sim a consolidação de uma linha que o CEVIU já vinha cobrindo. Em 15 de outubro de 2026, o CEVIU noticiou "LangChain Detalha Metodologias para Avaliação Robusta de Agentes de IA", com foco em combinar avaliadores e analisar exemplos de traces. Em 23 de setembro de 2026, em "Avaliação de Agentes de IA: Além da Simples Chamada de Ferramentas", o tema era a pontuação por etapa. Agora a LangChain amarra isso num fluxo explícito: spec de pass/fail, eval escrito antes da mudança, baseline e comparação exemplo por exemplo.

Para quem desenvolve agentes, a leitura é prática: tratar o prompt e a descrição de ferramentas como código que precisa de teste de regressão. Olhar só a média é o erro mais fácil de cometer, e o caso do VPN mostra o motivo. Colocar evals no CI e alimentar o dataset com falhas de produção dá ao time um histórico objetivo para decidir se uma mudança fica ou volta.