Avaliação de Agentes: Um Guia Detalhado

A avaliação de LLMs mudou de benchmarks estáticos para sistemas de agentes mais dinâmicos e realistas. Uma avaliação eficaz agora exige 'harnesses' realistas para testar agentes em ambientes complexos e por longos períodos. Isso é crucial, pois os agentes estão assumindo papéis de alta responsabilidade, como programação e medicina, o que requer medição rigorosa de desempenho e avaliação orientada a resultados.