Modelos de text-to-SQL escolhem uma interpretação sem avisar, aponta SpecBridge

O SpecBridge ataca um problema que benchmarks tradicionais não enxergam: a consulta roda, devolve um número plausível, mas calcula algo diferente do que o analista queria. O exemplo do artigo é clássico, contar linhas ou entidades distintas. O modelo resolve a dúvida sozinho e não avisa.

O método isola a escolha de cálculo. Para cada teste, cria três pedidos quase idênticos: um deixa a escolha em aberto e os outros dois fixam cada interpretação. Cada resposta é avaliada executando o SQL. São 204 testes validados à mão, em bancos reais, com escolhas que já derrubaram modelos em benchmarks existentes. Nos quatro modelos testados, cada interpretação costuma ser calculada quando pedida. Mas, no pedido aberto, os modelos devolvem as duas em apenas 15% a 58% dos testes em que seriam capazes, muitas vezes sem citar a escolha. Ou seja, o gargalo está em reportar, não em computar.

Os autores também apontam um efeito no BIRD: nas perguntas em que a escolha muda o resultado, mais de dois em cada cinco SQLs marcados como errados estão certos sob a outra interpretação. A solução proposta dispensa modelo mais forte. Primeiro, o sistema decide se o pedido deixa uma escolha em aberto. Depois, responde a cada interpretação em uma chamada separada. No SpecBridge e no AMBROSIA, isso eleva em 29 a 63 pontos percentuais a fatia de pedidos abertos que recebem todas as interpretações, em relação à resposta única dos assistentes de produção, sem perder precisão em pedidos claros. Também exige menos turnos do usuário do que perguntar de volta.

Não há evolução do mesmo projeto na cobertura anterior, mas há contexto próximo. Em 14 de julho de 2026, o CEVIU noticiou "Benchmarks de Text-to-SQL Apresentam Inconsistências Críticas em Suas Chaves de Resposta", sobre gold queries incorretas em BIRD e Spider. O SpecBridge acrescenta outro problema de avaliação: mesmo com a chave correta, ela representa uma só interpretação. Em 5 de março de 2026, o CEVIU já havia publicado "SQL Resolvido. Onde o Chat-BI Ainda Apresenta Falhas", com testes em BIRD e DABStep que expuseram falhas em definições de métricas, tema que se conecta ao da ambiguidade de cálculo.

Para quem opera assistentes de analytics, a leitura é que a acurácia de execução sozinha pode esconder risco: um número errado com cara de certo. Se a lacuna está no reporte, vale testar um roteamento simples (detectar ambiguidade, responder por interpretação) antes de trocar de modelo. Também sugere cautela ao comparar modelos por benchmarks com uma única resposta de referência.