LLMs não estão mais melhorando em programação?

LLMs não estão necessariamente aprimorando continuamente suas habilidades de programação. Observa-se que o desempenho de LLMs tem apresentado piora sob critérios mais rigorosos em comparação com os benchmarks usuais do mercado.

Uma análise estatística detalhada das taxas de merge desde o início de 2025 sugere uma tendência constante ou constante por partes, em vez de uma curva ascendente linear. Isso indica uma estagnação significativa nas capacidades dessas IAs por mais de um ano, levantando questões sobre os avanços recentes em tarefas de desenvolvimento de software.