Apresentando Attention Residuals: Repensando a agregação depth-wise

Attention Residuals não são só mais uma camada de atenção: é uma mudança estrutural no jeito como redes profundas lembram de si mesmas. Desde a ResNet em 2016, conexões residuais somavam todas as saídas anteriores com pesos fixos, um atalho útil, mas cego. Com o aumento da profundidade dos modelos, esse atalho virou gargalo: o estado oculto crescia linearmente com o número de camadas (O(L)), e representações iniciais se afogavam na soma. O AttnRes resolve isso trocando a soma por uma atenção aprendida sobre as camadas anteriores, cada camada decide, em tempo real e conforme o conteúdo da entrada, quais representações anteriores recuperar, com que peso e em que escala. É como dar memória seletiva à rede, não só um histórico completo.

A versão prática, Block AttnRes, divide as camadas em blocos (ex.: 8) e aplica atenção sobre resumos de bloco, não sobre cada camada individual. Isso reduz a sobrecarga de memória de O(Ld) para O(Nd), mantendo 95% do ganho de desempenho com menos de 2% de custo extra em inferência. Em modelos como a Kimi Linear (48B parâmetros, 3B MoE ativados), isso se traduz em +7,5 pontos no GPQA-Diamond, +3,6 em Math e até 6× mais rápido na decodificação com contexto de 1 milhão de tokens, sem aumentar o orçamento de treinamento.

Isso muda a economia do treinamento profundo. Um modelo com AttnRes alcança o mesmo nível de qualidade de um baseline treinado com 1,25× mais FLOPs, ou seja, 20% de economia real em custo computacional. Para equipes que operam LLMs em escala, isso significa reduzir significativamente o tempo de convergência e o uso de GPU, sem sacrificar capacidade de raciocínio. Mais importante: o mecanismo ataca diretamente limitações estruturais antigas, diluição de sinal, gradientes desbalanceados e crescimento incontrolável do hidden-state, que até agora eram contornadas com hacks como LayerScale ou PreNorm reajustes. Aqui, a correção vem do projeto da própria conexão residual.