Como a Hex construiu um laboratório para avaliar agentes de dados

A Hex não criou um novo benchmark genérico, mas um laboratório de engenharia de dados agêntico: o Shoebox é uma camada de teste integrada à pilha local de desenvolvimento, conectada a um workspace compartilhado com dados de produção reais e linhas de base históricas. Ele opera em modo pareado, cada mudança em prompt, modelo ou contexto é testada lado a lado com a versão atual em produção, medindo impacto direto em tempo de resposta, taxa de sucesso em consultas ambíguas e consumo de tokens em cenários reais. A Shorelane Commerce não é só um dataset fictício; é um data warehouse deliberadamente desorganizado, com esquemas inconsistentes, nomenclatura conflitante e dívida técnica acumulada desde 2019, replicando o que agentes enfrentam em clientes reais, algo que benchmarks como text-to-SQL ou até o EVA-Bench Data 2.0 ainda não simulam com essa fidelidade operacional.

O diferencial está na granularidade de observabilidade: o Shoebox registra cada chamada de ferramenta, cada passo de busca vetorial, cada decisão de memória de curto prazo, não apenas o resultado final. Isso permite isolar falhas não determinísticas, como quando um agente escolhe um índice incorreto em um JOIN por causa de metadados imprecisos no catálogo, ou quando uma atualização de contexto sobrescreve informação crítica antes da execução do SQL. É menos um 'teste de avaliação' e mais um sistema de controle de qualidade contínuo para pipelines de dados agênticos.

Na cobertura anterior do CEVIU sobre o Agent Judge (2026-05-30), destacamos a necessidade de avaliar trajetórias longas e adaptações contextuais, mas o Shoebox vai além: ele opera dentro do ciclo de desenvolvimento diário da Hex, não como um módulo pós-merge. Enquanto o Agent Judge avalia agentes já implantados, o Shoebox é usado pré-commit, com testes executados automaticamente em pull requests. Também evoluiu em relação ao foco do teste de batalha de agentes open source (2026-05-28): ali comparamos arquiteturas isoladas; aqui, a Hex compara variações de um mesmo agente em ambiente controlado, com métricas alinhadas às SLAs reais de seus clientes, como tempo médio para retornar um relatório de estoque com previsão de ruptura, não apenas acurácia sintática de SQL gerado.

Agentes de dados estão deixando de ser experimentos e virando infraestrutura crítica. Quando um agente gera um SQL errado em produção, o risco não é só de resposta incorreta, é de carga desnecessária no warehouse, bloqueio de tabelas, ou violação de políticas de governança. O Shoebox torna essa infraestrutura auditável: cada melhoria em prompt ou ajuste de memória tem impacto mensurável em custo, latência e confiabilidade. Isso muda o papel do engenheiro de dados: de quem escreve queries para quem projeta sistemas de feedback contínuo entre dados, IA e negócios. E mostra que a próxima fronteira da governança não é só sobre quem acessa os dados, mas sobre como os agentes os interpretam, e como sabemos que estão interpretando certo.