Olmo-core 3 revoluciona treinamento de Modelos MoE em escala de trilhões de parâmetros

Modelos MoE são uma sacada esperta para escalar IAs. Eles permitem modelos gigantescos sem que cada input precise ativar todos os bilhões de parâmetros. É como ter vários especialistas e só chamar o que sabe do assunto. Mas essa eficiência tem um custo: gerenciar a comunicação e coordenação entre esses "especialistas" em um cluster de GPUs é complexo. Olmo-core 3 entra em campo para fechar essa lacuna, redesenhando a forma como esses modelos são treinados.

O framework aposta em várias técnicas para distribuir e otimizar. Isso inclui paralelismo de especialistas, que espalha os modelos entre as GPUs; paralelismo de pipeline, que divide as camadas do modelo; e um otimizador distribuído, que compartilha o estado de treinamento. Para o tráfego de dados, ele usa paralelismo de linha (rowwise expert parallelism) e roteamento residente na GPU, evitando idas e vindas de dados desnecessárias. Agrupa operações pequenas (grouped GEMM) para GPUs processarem mais rápido e ainda suporta MXFP8, um formato de número de menor precisão. Essa combinação economiza computação e transferência de dados, otimizando o throughput em cerca de 21% em testes.

Olmo-core 3 representa um salto evolutivo claro para o ecossistema Olmo. O sistema anterior usava FSDP (fully sharded data parallelism) para a implementação MoE. Essa abordagem exigia reunir e redistribuir pesos do modelo a cada pequeno lote de dados. A nova versão trocou para DDP (distributed data parallelism), mantendo os especialistas residentes nas GPUs e roteando os dados relevantes diretamente, evitando o custo de re-gathering. Essa mudança foi drástica: em testes, a nova arquitetura obteve um throughput 2,7 vezes maior, passando de 19.400 para 52.000 tokens por segundo por GPU em um MoE de 47 bilhões de parâmetros, comparado à implementação anterior baseada em FSDP.

A capacidade do Olmo-core 3 de escalar MoE para trilhões de parâmetros, com uso otimizado de recursos computacionais, é crucial. Isso significa que desenvolver IAs massivas se torna mais acessível e barato, democratizando o acesso para pesquisadores acadêmicos e laboratórios menores. Muitas vezes eles não têm o poder de computação das grandes empresas. Modelos como o Kimi K3, discutido em nossa cobertura de 29 de julho de 2026, que já atingiu 2.8 trilhões de parâmetros, mostram a direção do mercado. Soluções como o Olmo-core 3, junto com outros projetos como o "Mixture-of-Kittens" da Cursor, mencionado em 5 de agosto de 2026, impulsionam a corrida global por inovação em IA de larga escala, acelerando a chegada de sistemas inteligentes mais capazes e eficientes.