SQL Resolvido. Onde o Chat-BI Ainda Apresenta Falhas

Testes empíricos de sistemas agentic de chat-BI, utilizando os benchmarks BIRD e DABStep, revelaram alta precisão na geração de SQL (mais de 70% correto no BIRD). Contudo, esses testes expuseram nós de falha críticos: definições de métricas ambíguas, perguntas fora do escopo e lacunas de senso comum ️. Embora arquivos de contexto e regras (como RULES.md) auxiliem, eles podem induzir erros cumulativos e overfitting à medida que a complexidade do sistema cresce. Para garantir a confiabilidade, são essenciais a avaliação iterativa human-in-the-loop, classificação estruturada de erros, definições de métricas determinísticas e testes de CI reproduzíveis ️.