Google e Meta abrem o código do TorchTPU, backend nativo do PyTorch para TPUs

O TorchTPU entra no lugar do PyTorch/XLA, uma ponte de lazy tensors de 2020 que, segundo o anúncio, exigia modificações intrusivas no código-fonte. A promessa agora é que portar um modelo se resuma a trocar model.to("cuda") por model.to("tpu"). O backend se pluga no dispatcher de baixo nível do PyTorch, e por isso modelos do Hugging Face rodam de saída. vLLM e SGLang funcionam nativamente, e o TorchTitan cobre treino de modelos densos, mixture-of-experts e de difusão. Ray e llm-d escalam cargas de TPU entre hosts no Kubernetes.

Quatro repositórios foram abertos: TorchTPU, vLLM-TorchTPU, SGLang-TorchTPU e TorchTitan. O Google mostrou escala quase linear acima de 8.000 chips e um treino de Qwen3 235B MoE em 8.192 chips TPU v7x, com 28% de utilização de FLOPs do modelo. O próprio anúncio admite a ressalva: a troca de uma linha faz o modelo rodar, mas não entrega desempenho de pico, porque shapes, sharding e operações podem estar enviesados para GPU. Para esse ajuste, o Google lançou em preview no GitHub o TPU agent suite, que automatiza onboarding, diagnóstico e tuning.

Em 8 de abril de 2026, o CEVIU publicou "Executando PyTorch Nativamente em TPUs na Escala Google", e em 24 de abril de 2026 voltou ao tema com a mesma proposta de execução nativa e eficiente de PyTorch em TPU, com planos para o restante do ano. Era iniciativa descrita. Em 21 de outubro de 2026, o CEVIU noticiou "Google abre o código do TorchTPU e leva PyTorch nativo para as TPUs": virou código aberto no GitHub, desenvolvido com a Meta. A cobertura de 21 de outubro também registrou o TorchNeuron da AWS em beta público, movimento paralelo para o Trainium.

Para quem opera plataforma de ML, a leitura é que o custo de migração entre aceleradores cai na camada de código, mas não some na de operação. Planeje tempo para sharding e kernels, valide a disponibilidade de capacidade de TPU antes de qualquer decisão e não trate a troca de device como sinônimo de desempenho. Com TorchTPU e TorchNeuron usando o mesmo ponto de extensão (PrivateUse1), faz sentido testar custo por token em mais de um fornecedor, sabendo que, como argumentou uma análise citada, otimização e oferta continuam sob controle de cada vendor.