Voltar
Google disponibiliza TPU Sync em código aberto para KV Cache e transferência de pesos em TPUs

Google disponibiliza TPU Sync em código aberto para otimizar transferência de dados em TPUs

Aprofundamento CEVIU

Aprofundamento

O Google Cloud disponibilizou o código-fonte do TPU Sync, uma biblioteca C++ focada na otimização da movimentação de blocos de cache KV e pesos de modelos entre a memória HBM da TPU, a DRAM do host, o armazenamento compartilhado e a rede do datacenter. Essa ferramenta é crucial para cargas de trabalho de IA que exigem alta performance e baixa latência, como o serviço de LLMs (Large Language Models) com contexto longo e desagregado, e loops de Reinforcement Learning (RL) que transferem pesos atualizados de treinadores para amostradores. O Google destacou a redução da latência mediana de transferência de KV para o modelo Qwen3 235B, de segundos para aproximadamente 230 ms, e reduções de até 90% no TTFT (Time To First Token) para caches de prefixo em workloads de 64K de contexto. A biblioteca oferece APIs em Python para JAX e PyTorch, integrando-se com ferramentas como vLLM-TorchTPU e SGLang-TorchTPU. O projeto absorveu o código-base do TPU Raiden e é validado nas TPUs v7x e v6e.

O que mudou

Em 9 de novembro de 2026, o CEVIU noticiou o lançamento do TPU Sync, descrevendo-o como uma biblioteca open-source para transferir cache KV e pesos em inferência e RL na TPU, com foco na orquestração de dados como gargalo. A notícia atual detalha a disponibilização do código-fonte, a redução de latência observada (de segundos para 230 ms no Qwen3 235B), e a integração com vLLM-TorchTPU e SGLang-TorchTPU. Agora, os desenvolvedores têm acesso direto ao código e podem implementar as otimizações de fluxo de dados nas suas operações, o que antes era um anúncio de estratégia e agora é uma ferramenta concreta. A cobertura de 21 de outubro de 2026 sobre o TorchTPU, resultado da colaboração entre Google e Meta, mostra a evolução contínua da integração do PyTorch com as TPUs, sendo o TPU Sync um componente que potencializa o desempenho desse ecossistema.

Por que isso importa

Para engenheiros DevOps e de plataforma que operam infraestruturas de IA, o TPU Sync representa uma ferramenta essencial para otimizar a performance de LLMs e cargas de trabalho de RL. A redução drástica na latência de transferência de dados, como a queda de segundos para milissegundos, impacta diretamente o TTFT e a throughput, melhorando a experiência do usuário final e a eficiência dos modelos. A possibilidade de gerenciar o cache KV e os pesos de forma mais eficiente, especialmente em cenários de contexto longo e disaggregados, resolve um dos maiores gargalos na operação de inferência de IA. Isso permite escalar modelos maiores e mais complexos, reduzindo os custos operacionais ao maximizar o uso dos recursos de hardware e minimizando o tempo de espera dos aceleradores por dados. A natureza open-source da biblioteca também fomenta a inovação e a colaboração na comunidade, permitindo customizações e integrações que se adaptem a necessidades específicas.

Linha do tempo

  1. Google anuncia TorchTPU para execução nativa de PyTorch em TPUs.

  2. Google e Meta abrem o código do TorchTPU para suporte nativo a PyTorch em TPUs.

  3. Google Cloud anuncia o lançamento do TPU Sync.

  4. Google disponibiliza TPU Sync em código aberto.

Perguntas frequentes

O que é TPU Sync?

TPU Sync é uma biblioteca C++ de código aberto desenvolvida pelo Google Cloud para otimizar a movimentação de blocos de cache KV (Key-Value) e pesos de modelos entre as diferentes memórias de um sistema com TPUs, host e armazenamento. Ela visa reduzir a latência na transferência de dados para cargas de trabalho de IA.

Como o TPU Sync melhora a performance de modelos de IA?

A biblioteca reduz a latência de transferência de dados críticos, como o cache KV, entre os componentes de hardware. Isso significa que os aceleradores (TPUs) passam menos tempo esperando por dados, resultando em menor Time To First Token (TTFT) e maior eficiência geral na execução de modelos de linguagem grandes e workloads de Reinforcement Learning.

Quais são as principais aplicações do TPU Sync?

O TPU Sync é especialmente útil para servir LLMs com contexto longo e desagregado, onde a movimentação de cache KV é um gargalo significativo. Ele também otimiza loops de Reinforcement Learning, garantindo a rápida sincronização de pesos entre treinadores e amostradores. A ferramenta é fundamental para quem busca alta performance e baixa latência em operações de inferência e treinamento de IA.

Fontes

Avalie este artigo:
Categoria
CEVIU DevOps
Publicado
16 de novembro de 2026
Editoria
CEVIU DevOps

Quer receber mais sobre CEVIU DevOps?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser