TorchTPU: Executando PyTorch Nativamente em TPUs na Escala Google

As Tensor Processing Units (TPUs) do Google são fundamentais para a infraestrutura de supercomputação da empresa. Os ASICs customizados da companhia impulsionam o treinamento e o serviço tanto para o Google quanto para seus clientes Cloud. TorchTPU é um stack que facilita o acesso da comunidade de IA a todas as capacidades das TPUs, fornecendo as APIs e as ferramentas necessárias para extrair o máximo de compute do hardware do Google. Esta publicação oferece uma análise aprofundada dos princípios de engenharia por trás do TorchTPU.