Benchouse leva acurácia de agente de analytics de 49,6% para 96,5% com troca de modelo e ajustes de contexto

O estudo da Benchouse usou o nao, agente de analytics open-source que guarda a camada de contexto como sistema de arquivos e aceita qualquer tipo de camada semântica. O teste foi fixo: 90 perguntas sobre 59 tabelas de marts, em três níveis (diagnóstico, prescritivo e cinco perguntas sobre informação que o warehouse não tem, para checar se o agente recusa). Cada configuração rodou as mesmas perguntas três vezes para medir consistência.

Foram quatro configurações em camadas: schema puro, nao sync (colunas, amostras e profiling), documentação completa (grão, chaves, sinônimos, joins a evitar, enums) e, por fim, definições de negócio e regras de resposta, desenvolvidas num conjunto de treino separado de 210 perguntas para evitar overfitting. O Opus já chegou a 88,2% só com nomes de tabelas e colunas, enquanto o Sonnet foi bem pior. A documentação completa levou a 91,4%, e a skill write-context-rules subiu de 90,6% para 92,9% na comparação de tentativa única. A versão final bateu 96,5% com 100% de completude, e a parcela de perguntas certas nas três tentativas subiu de 77,6% para 92,9%.

Os erros restantes vieram de quatro padrões: o agente corrigia por conta própria falhas documentadas (como o flag de feriados incompleto, para o qual criou um calendário próprio), termos de negócio abertos a interpretação, sinônimos duplicados apontando para colunas concorrentes e respostas que pulavam para a pergunta seguinte. A regra no RULES.md foi dar primeiro o número da casa, depois sinalizar a limitação e rotular qualquer alternativa. A Benchouse ressalva que as mudanças foram testadas em conjunto, então não dá para atribuir ganho a cada regra. O texto é patrocinado pela nao, e a Benchouse afirma que a empresa não influenciou método nem resultados.

Em 12 de março de 2026, o CEVIU noticiou "Como aprimorei a confiabilidade do meu agente de analytics de 45% para 86%", em que a melhora veio de corrigir testes, regras de datas, documentação e o modelo de dados. Em 1 de outubro de 2026, em "Camada Semântica Eleva Precisão de LLMs em Análises de Dados", o jornal citou modelos com camada semântica chegando a 91% de acurácia. O caso atual leva a discussão para outro ponto: o ganho inicial veio da troca de modelo (49,6% para 88,2%), e só depois o contexto empurrou o agente a 96,5%. São experimentos distintos, então os números não são comparáveis diretamente.

Para quem opera agentes de analytics, a leitura é que escolher o modelo e escrever contexto são decisões separadas, e a ordem importa. Documentar uma falha dos dados sem dizer qual definição vale pode levar o agente a mudar silenciosamente o número que você reporta. Também fica o aviso de medir o custo por resposta correta, não só a conta por pergunta, antes de migrar para um modelo mais barato.