Voltar
Desvendando RL on-policy estável em TPU com Bitwise-Zero Train–Inference Mismatch

Google Implementa ZERO-TIM para Estabilidade de RL em TPUs

Aprofundamento CEVIU

Aprofundamento

O Google implementou o ZERO-TIM (Zero Train-Inference Mismatch) para garantir estabilidade em treinamentos de Reinforcement Learning (RL) on-policy em TPUs. A técnica visa eliminar discrepâncias numéricas que surgem quando o amostrador (sampler) e o treinador (trainer) avaliam a mesma política de forma diferente, mesmo com os mesmos pesos. Em sistemas de RL para Large Language Models (LLMs), a sensibilidade a essas instabilidades numéricas é alta, podendo levar a treinamentos instáveis ou falha na convergência. O ZERO-TIM garante que amostrador e treinador atribuam logprobs bitwise-idênticos para a mesma ação e histórico de tokens. Isso é crucial porque, na prática, as stacks de RL rodam sampling e training em caminhos de execução separados e especializados, que podem introduzir erros de ponto flutuante devido a ordens de redução e precisões intermediárias diferentes.

A solução envolve quatro partes principais: controle da acumulação do kernel dentro de cada shard, ordenamento das reduções entre shards, padronização da cauda de pontuação de logprob e o encapsulamento de kernels de serving com regras de diferenciação personalizadas. A verificação do ZERO-TIM foi feita em uma malha de 64 chips TPU v5p (DP8×TP8), utilizando uma abordagem de diagnóstico em três etapas (sampler decode vs. prefill; prefill vs. trainer) para identificar e corrigir os pontos de divergência. A implementação faz parte do Tunix, a biblioteca JAX-nativa de código aberto do Google para RL de LLMs em Cloud TPU. Este método já demonstrou zero diferença média absoluta de logprob entre amostrador e treinador e aumentou a taxa de sucesso de treinamento em testes.

Por que isso importa

Para profissionais de IA que trabalham com RL em grande escala, especialmente com LLMs, a estabilidade é um desafio crítico. A garantia de que as fases de inferência e treinamento operam com consistência bitwise elimina uma fonte sutil, mas significativa, de instabilidade. Isso significa menos tempo gasto em depuração de desvios numéricos e mais foco na otimização do algoritmo de RL em si. A abordagem do Google, com um blueprint modular e open-source para JAX/TPU, oferece uma solução replicável que pode ser adotada por outras equipes. A capacidade de alcançar on-policy RL com verdadeira estabilidade numérica pode acelerar a convergência e melhorar o desempenho final dos modelos, otimizando o uso de recursos computacionais caros como as TPUs.

Linha do tempo

  1. Google Aprimora Treinamento de Agentes de IA com Nova Técnica para Evitar Overfitting

  2. Google Implementa ZERO-TIM para Estabilidade de RL em TPUs

Perguntas frequentes

O que é o ZERO-TIM e por que ele é importante para o RL em LLMs?

ZERO-TIM (Zero Train-Inference Mismatch) é uma técnica desenvolvida pelo Google para garantir que o amostrador (sampler) e o treinador (trainer) de modelos de Reinforcement Learning atribuam valores de logprob idênticos, bit a bit, para a mesma ação. Isso é crucial porque pequenas discrepâncias numéricas entre essas duas fases podem desestabilizar o treinamento de LLMs, impedindo a convergência.

Quais são os principais desafios numéricos que o ZERO-TIM resolve?

O ZERO-TIM resolve desafios relacionados à aritmética de ponto flutuante, como a não-associatividade da adição, que pode levar a resultados diferentes dependendo da ordem das operações. Isso ocorre porque o sampler e o trainer usam caminhos de execução distintos, com diferentes formas de arrays de token, implementações de forward e ordens de redução, introduzindo discrepâncias de arredondamento.

Como o Google conseguiu implementar o ZERO-TIM em TPUs?

A implementação do ZERO-TIM envolveu quatro etapas principais: controlar a ordem de acumulação e precisão intermediária dentro dos shards de TPU, padronizar a ordem das reduções entre shards, uniformizar o processo de cálculo final dos logprobs e criar regras de diferenciação personalizadas para os kernels de serving. Isso foi verificado em 64 chips TPU v5p.

Onde o ZERO-TIM se encaixa no ecossistema de ferramentas do Google para IA?

O ZERO-TIM faz parte do Tunix, a biblioteca JAX-nativa e de código aberto do Google para Reinforcement Learning e pós-treinamento de LLMs em Cloud TPU. A abordagem é modular, o que permite sua adoção em pipelines de serving e treinamento existentes que utilizam JAX/TPU, e há planos para estender o suporte a arquiteturas como linear-attention e Mixture-of-Experts (MoE).

Fontes

Avalie este artigo:
Categoria
CEVIU IA
Publicado
17 de novembro de 2026
Editoria
CEVIU IA

Quer receber mais sobre CEVIU IA?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser