Agente de IA da Funnel executou a mesma query SQL bem-sucedida 254 vezes

A Funnel testa modelos de linguagem na Reef, sua plataforma interna de agentes de dados. A Reef trabalha com três camadas de conhecimento: um modelo de mundo da empresa representado como grafo, dados operacionais estruturados (métricas financeiras, de SaaS e de CRM) e conversas com clientes, das quais saem afirmações estruturadas. É um ambiente complexo para um agente navegar.

O teste foi um A/B randomizado entre o GLM-5.2, modelo de pesos abertos, e o Claude Opus 4.8. Cada tarefa nova ganhava um modelo, mantido nas interações seguintes, inclusive em investigações mais profundas e nas explorations (dashboards interativos). O GLM levou 7,8 segundos por chamada de modelo, contra 18,1 do Opus. Só que fez 66% mais chamadas de ferramenta (19 contra 11, em média) e terminou as tarefas 14% mais devagar.

O caso extremo: em duas execuções, o GLM repetiu a mesma query SQL bem-sucedida 113 e 254 vezes. Numa delas, a ferramenta só expunha um preview de 20 linhas, e o modelo não percebeu o limite. Kimi K2.6 e Qwen3.8 27B mostraram tendências parecidas, com o Qwen duas vezes mais agressivo no uso de ferramentas que o GLM. A Funnel também achou instruções salvas apontando para tabelas e campos do Athena que não existiam, contratos de ferramenta ambíguos e falta de proteção contra chamadas repetidas. O Opus contornou boa parte disso, mas os problemas estavam lá.

O episódio conversa com a cobertura anterior, mas é de outro caso. Em 7 de outubro de 2026, o CEVIU noticiou "Desafios na Avaliação de Agentes Autônomos: Quando o Banco de Dados Contradiz o Agente", sobre a distância entre o que o agente diz e o estado real dos dados. Em 7 de setembro de 2026, "Desafios e Estratégias na Análise de Dados com IA Agentiva: Do Texto Livre ao SQL Governamental" tratou de agentes que geram SQL com metadados inconsistentes. O caso da Funnel mostra o mesmo tipo de falha, com instruções que citavam tabelas inexistentes e chamadas que davam sucesso sem produzir progresso.

Para quem integra modelos de pesos abertos em plataformas agentic, a leitura é direta: latência por chamada engana. O que conta é o tempo da tarefa inteira. Trocar o endpoint pode expor premissas de arquitetura que o modelo anterior escondia. Contratos de ferramenta explícitos, detecção de chamadas equivalentes repetidas, orçamento de execução e validação das instruções contra o schema real viram parte do trabalho, não opcional.