Microsoft inova com Transformers Full-bandwidth que otimizam processamento latente

Os Transformers Full-bandwidth da Microsoft representam um avanço na forma como os modelos de linguagem processam informações. A inovação central é a capacidade de realimentar o "estado oculto" da camada superior do token anterior, combinado com o embedding do próximo token, usando uma unidade linear gateada. Esse mecanismo cria um "canal de feedback vertical" mais amplo, permitindo que a computação latente, o raciocínio não verbalizado, seja continuamente mantida e progredida entre as etapas de decodificação. Assim, a pilha de processamento recebe informações mais ricas a cada passo.

A arquitetura mantém compatibilidade com os Transformers padrão, incluindo o cache KV e o objetivo de modelagem de linguagem. A Microsoft treinou esses modelos usando um objetivo multi-pass programado, que introduz o feedback latente mais tarde no pré-treinamento para estabilidade. O resultado? Modelos de 1 bilhão de parâmetros apresentaram melhorias na perda de validação, na avaliação de modelos de linguagem com 5-shot, na geração de matemática e código, e no desempenho de modelos ajustados por instrução. Essencialmente, eles igualam ou superam Transformers padrão treinados com cerca de 1,5 vezes mais tokens, conseguindo rastros de raciocínio mais curtos com igual ou melhor precisão.

A discussão sobre otimização e reutilização de recursos em Transformers tem ganhado força. Em nossa cobertura de 29 de julho de 2026, destacamos os "Transformers em Loop", que reutilizam camadas centrais para otimizar recursos. Os Full-bandwidth Transformers da Microsoft levam essa ideia para outro nível, focando no "feedback latente". Enquanto os modelos em loop reutilizam blocos computacionais, a nova arquitetura realimenta diretamente o estado oculto da camada superior. Isso significa que o modelo aproveita não só a estrutura da camada, mas o próprio "pensamento" interno que ela gerou, criando um fluxo de informações mais contínuo e aprofundado entre os passos de decodificação. É uma evolução do conceito de otimização pela reutilização.

Esta inovação é um avanço significativo para a eficiência da IA. Ela permite que modelos de linguagem alcancem desempenho superior com menos recursos computacionais e, potencialmente, menos dados de treinamento. Isso se traduz em modelos mais rápidos, mais baratos de operar e mais acessíveis, democratizando o acesso a capacidades avançadas de IA. Reduzir a necessidade de bilhões de tokens para treinamento e otimizar a inferência tem implicações diretas na sustentabilidade, diminuindo a pegada de carbono da IA. Além disso, a capacidade de gerar raciocínios mais curtos e precisos é crucial para tarefas complexas como programação e resolução de problemas matemáticos, ampliando as fronteiras do que os modelos podem fazer.