Como a Hex construiu um laboratório para avaliar agentes de dados

A Hex criou o Shoebox, uma bancada de testes interna para agentes de dados que permite comparar execuções candidatas com baselines de produção e avaliar melhorias em prompts, modelos, memória, busca e contexto de workspace. Para tornar os testes mais realistas, a empresa também desenvolveu a Shorelane Commerce — uma empresa fictícia com dados de estoque desorganizados —, já que benchmarks simples de text-to-SQL não capturam a ambiguidade e a dívida técnica que agentes de analytics reais enfrentam no dia a dia.