Escrevi um parser SQL 70x mais rápido quase sem olhar o código

O PostHog conseguiu um salto brutal de desempenho ao substituir seu parser SQL baseado em ANTLR por uma implementação manual em Rust gerada com IA. O novo parser, escrito quase inteiramente por Claude Opus 4.7, adota uma arquitetura recursive-descent com núcleo Pratt para expressões, combinando previsibilidade e eficiência. Essa abordagem elimina as camadas de indireção típicas de geradores como ANTLR, que usam interpretação de grafos (ATN) em tempo de execução, e reduz drasticamente o custo por token processado.

O diferencial não foi só usar IA para gerar código, mas sim montar um fluxo robusto de validação: testes baseados em propriedades (PBT) com Hypothesis, gerador SQL derivado da gramática .g4 original, cobertura orientada por feedback e até agentes secundários pedidos para 'pensar muito sobre casos extremos'. Isso criou um loop fechado onde a IA corrigia divergências contra um oráculo (o parser C++), aprendendo continuamente sem perder consistência.

Parser é o primeiro ponto de contato com entrada não confiável. Um erro aqui compromete segurança, controle de acesso e otimizações downstream. Ao atingir equivalência funcional com o parser original, mesmo em queries absurdas como SELECT SELECT FROM FROM, o PostHog provou que soluções geradas por IA podem ser tão corretas quanto as manuais, mas com ganhos de performance antes inacessíveis.

Isso redefine o custo-benefício de se ter parsers customizados. Onde antes só valia a pena em cenários extremos, agora equipes pequenas podem construir parsers rápidos, seguros e mantidos por ferramentas automatizadas. O futuro dos compiladores e linguagens pode estar menos em gramáticas declarativas e mais em pares IA + PBT, treinando parsers especializados com velocidade e precisão.