NVIDIA NeMo transforma falhas de agentes em testes e correções de harness

O tutorial da NVIDIA descreve um ciclo completo de otimização de agentes com três bibliotecas do blueprint NemoClaw: NeMo Compass, NeMo Eval Author e NVIDIA NeMo Relay. O Compass analisa traces armazenados e evidências de avaliação para achar problemas recorrentes e montar um backlog priorizado, com exemplos e trace IDs. No caso do assistente Hermes, rodando em um sandbox NVIDIA OpenShell, ele apontou 42 traces em que o agente chamava send_message sem confirmação do usuário. A detecção veio da comparação das ações com as regras do ETHOS.md.

O Eval Author usa um coding agent (como Codex ou Claude Code) para gerar avaliações em formato Harbor ou NVIDIA NeMo Gym, com verificadores. A correção do exemplo foi mexer no SOUL.md do Hermes, conceito parecido com um system prompt. Duas tarefas ficam como "Held out", escondidas do coding agent, para checar generalização e evitar overfitting. No exemplo da Dassault Systèmes, com o LEO, o Compass viu argumentos de QueryModel fora do campo options e um erro vazio que travava a recuperação. O coding agent adicionou uma etapa de validação, e as chamadas malformadas caíram de 142 para zero. O loop rodou em cerca de 12 horas, sem intervenção humana, com 28% de melhora relativa na pontuação e 35% menos chamadas de ferramenta por execução em seis cenários, sem regressões reportadas.

A cobertura anterior ajuda a situar o tema. Em 7 de abril de 2026, o CEVIU publicou "A Anatomia de um Agent Harness", sobre a infraestrutura que transforma um LLM em agente com ferramentas. Em 19 de fevereiro de 2026, "Aprimorando Agentes Profundos com Harness Engineering" mostrou a LangChain subindo no Terminal Bench 2.0 com uma mudança de harness. O tutorial da NVIDIA cita esse tipo de trabalho como posts anteriores e agora traz o passo de achar o que mudar via traces e validar com avaliações customizadas. Em 15 de setembro de 2026, o CEVIU noticiou "Harness AI Evals: Qualidade de Agentes de IA Integrada ao CI/CD", outra abordagem de testes de agentes, de outra empresa.

Para quem opera agentes em produção, a leitura é que o harness vira superfície de engenharia com ciclo de teste, como código comum. Isso sugere tratar falhas em traces como casos de teste de regressão, com um conjunto held-out separado. O exemplo da NVIDIA é pequeno (quatro avaliações), e a própria empresa diz que suites de produção costumam ter centenas a alguns milhares de exemplos.