Voltar
Desafios do Treinamento de IA de ponta a ponta com 4 bits

Desafios do Treinamento de Modelos de Linguagem com Precisão de 4 Bits são Analisados pela Thinking Machines

Aprofundamento CEVIU

Aprofundamento

A Thinking Machines investigou a fundo os desafios técnicos para treinar modelos de linguagem com precisão de 4 bits. O estudo foca na balança entre o benefício de menos bits, que reduz o uso de memória e acelera cálculos em GPUs, e o risco de erros de quantização. Esses erros, embora pequenos individualmente, se acumulam durante o treinamento e podem prejudicar o aprendizado do modelo. A equipe usou os formatos BF16, MXFP8 e NVFP4, este último otimizado para a plataforma NVIDIA Grace Blackwell Ultra (GB300). O NVFP4, com 3,6x menos bits que o BF16, oferece até 6x mais velocidade no GB300, mas com um custo de maior erro de quantização.

A pesquisa ressalta que a aceleração do NVFP4 é crucial na inferência de alto volume. No treinamento do modelo Inkling 2 Small, foram adotadas decisões específicas: precisão NVFP4 nas camadas expert para passes forward (com um kernel dedicado), e precisão MXFP8 para passes backward (com requantização e arredondamento estocástico para reduzir o viés do gradiente). Técnicas de quantização também foram aplicadas para acelerar as comunicações na GPU, um gargalo descoberto após a aceleração computacional. A Thinking Machines alega que o Inkling 2 Small é o maior modelo treinado ponta a ponta com um passe forward nativo de 4 bits. A abordagem resultou em um aumento de velocidade de 8% no pretreinamento e 20% no aprendizado por reforço (RL) em comparação com o treinamento MXFP8 completo.

O que mudou

A cobertura anterior do CEVIU, como a de 21 de agosto de 2026, com o título "Desvendando a Paralelização no Treinamento de Modelos Transformer", focou em estratégias de paralelização para otimizar o treinamento de LLMs. A atual investigação da Thinking Machines, ao detalhar as comunicações durante o paralelismo de experts em camadas MoE (Mixture of Experts), mostra uma evolução no foco de otimização. Agora, não é apenas a paralelização em si, mas como a precisão de 4 bits impacta a eficiência e se torna um gargalo, exigindo novas soluções de quantização para alívio.

Por que isso importa

Para engenheiros de Machine Learning e cientistas de dados operando com LLMs, este estudo da Thinking Machines é um divisor de águas. O treinamento em 4 bits representa uma fronteira crítica para reduzir custos de infraestrutura e acelerar o desenvolvimento de modelos. Compreender como os erros de quantização afetam a acurácia e as estratégias para mitigá-los, como o uso combinado de NVFP4 e MXFP8 com requantização e arredondamento estocástico, é essencial. A capacidade de treinar modelos maiores mais rapidamente, como o Inkling 2 Small demonstra, é um passo significativo para democratizar o acesso a LLMs de ponta e escalar sua aplicação em diversos setores. As otimizações de comunicação na GPU, antes um gargalo, indicam que a corrida por eficiência vai além do poder de processamento bruto.

Linha do tempo

  1. CEVIU noticiou sobre estratégias de paralelização no treinamento de modelos Transformer.

  2. Thinking Machines analisa desafios do treinamento de modelos de linguagem com precisão de 4 bits.

Perguntas frequentes

O que são os desafios do treinamento de LLMs com precisão de 4 bits?

Os desafios surgem do balanço entre a economia de memória e o ganho de velocidade ao usar menos bits e o risco de erros de quantização. Esses erros se acumulam, podem afetar a acurácia do modelo e, principalmente no passe backward, gerar vieses que prejudicam o aprendizado.

Quais formatos de precisão foram comparados e qual a vantagem de cada um?

Foram comparados os formatos BF16, MXFP8 e NVFP4. O NVFP4, em especial, oferece uma redução de bits significativa e aceleração em GPUs NVIDIA Blackwell, sendo ideal para inferência de alto volume, mas com maior erro de quantização comparado aos outros formatos.

Como a Thinking Machines lidou com o erro de quantização no Inkling 2 Small?

A equipe utilizou NVFP4 para os passes forward nas camadas expert e MXFP8 para os passes backward. Implementou requantização e arredondamento estocástico para reduzir o viés do gradiente, e otimizou as comunicações GPU com quantização para resolver gargalos.

Qual foi o impacto dessas otimizações no treinamento do Inkling 2 Small?

As otimizações resultaram em um ganho de velocidade de 8% no pretreinamento e 20% no aprendizado por reforço (RL) em comparação com o treinamento MXFP8 completo, posicionando o Inkling 2 Small como um dos maiores modelos treinados com passe forward nativo de 4 bits.

Fontes

Avalie este artigo:
Categoria
CEVIU IA
Publicado
16 de novembro de 2026
Editoria
CEVIU IA

Quer receber mais sobre CEVIU IA?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser