Google abre o código do TorchTPU e leva PyTorch nativo para as TPUs

O anúncio na PyTorch Conference 2026 resolve um problema antigo das TPUs: elas eram potentes, mas exigiam um caminho próprio de software. Com o TorchTPU em código aberto no GitHub, o Google trata a TPU como dispositivo nativo do PyTorch, ao lado de GPU e CPU. O fluxo é o que o dev já conhece: depura em eager mode e, para produção, passa por torch.compile para otimizar o uso da TPU e reduzir o consumo de memória.

O pacote vai além do framework. Entram vLLM, SGLang, llm-d, TorchTitan, VeRL, Ray e Hugging Face. No treino, o TorchTitan mostrou até 52% de MFU no Qwen 3 8B, com escala quase linear em até 8.192 TPUs Ironwood. No serving, o llm-d 1.0 roteia requisições por prefix cache e separa prefill de decode. O cliente Zenteiq relatou throughput mais de 4 vezes maior, de 1,47 bilhão para 5,97 bilhões de tokens por dia a cada 1.000 TPUs v6e. A conta que o Google quer fechar é throughput por dólar, rodando TPU e GPU atrás do mesmo endpoint no GKE.

Em abril de 2026, a cobertura do CEVIU sobre "Executando PyTorch Nativamente em TPUs na Escala do Google" apresentava o TorchTPU como iniciativa para rodar PyTorch de forma nativa e eficiente, com treinamento distribuído. Agora ele sai da descrição de projeto e vira código aberto, com integrações entregues. O llm-d também avançou: em abril de 2026 foi aceito como projeto Sandbox da CNCF, e agora chega à versão 1.0.

A corrida por alternativas às GPUs passa pelo software. Um dia antes, em 20 de outubro de 2026, o CEVIU noticiou o TorchNeuron, backend nativo da AWS para o Trainium. Google e AWS miram o mesmo ponto: PyTorch como porta de entrada para chips próprios. Para quem opera inference, isso significa mais opções de hardware sem reescrever código.