Seu LLM Não Escreve Código Correto. Ele Escreve Código Plausível.

Um rewrite de SQLite em Rust gerado por LLM, testado com benchmark, operou 20.171x mais lento em buscas de chaves primárias . Isso ocorreu porque o query planner nunca verificou o is_ipk flag, direcionando cada cláusula WHERE para um full table scan em vez de uma busca em B-tree. Outro exemplo do mesmo autor envolveu um daemon de limpeza de disco com 82.000 linhas, incorporando um Bayesian scoring engine e um PID controller, para resolver um problema que uma simples cron job de uma linha já gerenciava.

A falha principal é estrutural: LLMs otimizam para uma saída plausível que corresponda à intenção do usuário. Um Randomized Controlled Trial (RCT) da METR, envolvendo 16 desenvolvedores open-source experientes, confirmou que o problema escala, revelando que usuários de IA foram 19% mais lentos, apesar de acreditarem ser 20% mais rápidos ️.