LLMs não estão mais melhorando em programação?

A estagnação não é de capacidade bruta, mas de ganhos fáceis. Desde 2025, os LLMs atingiram o teto em benchmarks artificiais como HumanEval, onde modelos superam 90% com tarefas isoladas de função simples, mas tropeçam em cenários reais: SWE-bench Verified mostra que até os melhores (Claude Opus 4.6, Gemini 3.1 Pro) mal ultrapassam 80%, e no SWE-bench Pro, o GPT-5.4 lidera com 57,7%, revelando que lidar com refatorações multiarquivo, dependências cruzadas e histórico de commits ainda é um gargalo técnico real. A segurança do código gerado é outro ponto crítico: 45% das saídas contêm vulnerabilidades OWASP Top 10 detectáveis, mesmo em modelos de ponta, exceto nos que adotam raciocínio passo a passo (como o GPT-5), que chegam a 70% de código seguro.

O avanço real está fora da 'inteligência estática': em 2026, modelos agênticos mantêm contexto por semanas, leem documentação dinâmica, iteram com feedback humano e orquestram ferramentas como depuradores e testes unitários em tempo real. Isso transforma o foco de 'quanto o modelo sabe' para 'quanto ele consegue fazer sozinho'. A arquitetura MoE se tornou padrão, permitindo desempenho de fronteira com custo reduzido, e modelos abertos como Devstral 2 (72,2%) já superam o GPT-4o (48%), mostrando que a inovação migrou para eficiência, integração e autonomia operacional, não só para escala de parâmetros.

Para desenvolvedores, isso muda o que vale priorizar ao escolher uma IA: não mais apenas a pontuação em benchmark, mas como ela lida com segurança, manutenção de contexto, depuração em ambiente real e colaboração com ferramentas existentes. A queda de 80% nos preços de API desde 2025 também significa que equipes podem experimentar múltiplos modelos especializados, por exemplo, usar GPT-5.4 para análise de segurança crítica e Devstral 2 para geração rápida em projetos open-source, sem impacto financeiro proibitivo. O que antes era um 'modelo único para tudo' agora exige uma estratégia de stack de IA, alinhada às etapas reais do ciclo de vida do software.