Janelas de contexto gigantes em LLMs: desempenho cai após ~100 mil tokens

A degradação de desempenho em LLMs não é um efeito colateral, é uma característica estrutural do mecanismo de atenção. Estudos de 2026 confirmam que, mesmo com janelas de contexto anunciadas de 10 milhões de tokens (como no Llama 4 Scout), a capacidade efetiva cai para 5, 6,5 milhões. Isso não é falha de implementação: é consequência direta da forma como os modelos distribuem peso entre tokens. O fenômeno 'Lost in the Middle' persiste: informações centrais são sistematicamente subvalorizadas, reduzindo precisão em até 20 pontos percentuais com apenas 4.000 tokens. E o gargalo não é só computacional, é cognitivo. Modelos não conseguem manter ativamente mais de ~300 fatos relevantes, mesmo em entradas de 100 mil tokens.

O FlashAttention-3 e o Ring Attention melhoram a eficiência, mas não resolvem o problema fundamental: a atenção não escala linearmente com o tamanho do contexto. Já o Context Pruning, discutido em maio, ganha nova urgência, não como otimização de custo, mas como técnica de correção de qualidade. A novidade de junho de 2026, os Latent Context Language Models (LCLMs), comprimem entradas em 16× com perda mínima de precisão e 8,8× mais velocidade que cache KV padrão. É um movimento claro: sair do 'mais tokens' para o 'melhor contexto'.

Em abril e maio, a CEVIU já alertava sobre a falha de agentes prolongados por falta de disciplina de contexto e sobre o 'simulacro do trabalho do conhecimento'. Agora, em junho, há dados concretos: a zona de confiabilidade real dos LLMs foi quantificada em ~100 mil tokens, um limite operacional, não teórico. Isso transforma o Context Pruning de técnica útil em requisito de engenharia. Também mudou a narrativa sobre janelas de contexto: não é mais 'quanto cabe', mas 'quanto o modelo realmente vê'. O Llama 4 Scout, anunciado com 10 milhões de tokens, confirma essa lacuna ao entregar apenas 50, 65% disso na prática, um salto da especulação para a medição empírica.

Para devs, isso significa que pipelines baseados em contexto longo, como análise de repositórios inteiros, revisão de PRs com histórico completo ou suporte técnico com logs de dias, estão sendo executados fora da zona segura. Respostas podem parecer coerentes, mas falham em conexões críticas entre trechos distantes. O custo também explode: processar 200 mil tokens pode custar 3× mais que 100 mil, com ganho quase nulo em qualidade. A alternativa não é esperar por modelos maiores. É adotar compressão (LCLMs), pruning seletivo e caching estratégico, técnicas que já entregam redução de custo de 50, 90% e aumento real de confiabilidade.