LLMs estão mais complexos agora

O artigo de Ian Barber não é só sobre 'mais complexidade', é sobre uma mudança estrutural: LLMs deixaram de ser pilhas limpas de Transformers repetidos (como no Llama 3) e viraram sistemas híbridos com múltiplas camadas de especialização. A atenção, que um dia foi o núcleo unificado do modelo, agora se fragmenta em variantes operacionais distintas, sliding-window para contexto longo, compressed para redução de memória, sparse para eficiência em tokens irrelevantes. Isso não é incremento: é reengenharia da pipeline de inferência.

Essa evolução reflete diretamente os desafios que já tínhamos mapeado em maio: o KV-cache virou gargalo crítico em agentes que mantêm estados longos, e técnicas como KV sharing e mHC surgiram justamente para aliviar o tráfego entre GPUs. Agora, elas não são mais otimizações pontuais, estão embutidas na arquitetura base, como no Nemotron 3 Ultra, que mistura encoders multimodais *dentro* do fluxo principal, não como módulos externos.

Em maio, falávamos de técnicas isoladas (KV sharing, compressed attention) como respostas a restrições específicas. Agora, essas técnicas não são mais 'adicionais': são parte da definição de 'modelo moderno'. O Llama 3 ainda podia ser entendido como um Transformer puro com ajustes; o Nemotron 3 Ultra exige uma nova mentalidade de engenharia, composabilidade desde o início, não apenas fusão de kernels após o fato. A diferença não é de escala, mas de filosofia de projeto: antes, otimizávamos um modelo estático; agora, projetamos para troca contínua de blocos, atenção, roteamento MoE, até o residual stream, sem quebrar o SLA de latência.

Isso muda quem pode desenvolver e manter modelos. Não basta saber PyTorch ou JAX: agora é preciso dominar comunicação entre GPUs, geração de kernels via Triton (como no FlexAttention), e validação de comportamento funcional sob diferentes variantes de atenção. A barreira de entrada subiu, mas também criou espaço para ferramentas que abstraem essa complexidade, como os loops auto-research que Karpathy busca na Anthropic. Para devs brasileiros, isso significa: menos tempo reescrevendo kernels, mais tempo definindo *quais* atenções fazem sentido para seu caso de uso, desde análise jurídica até suporte técnico em tempo real.