Hugging Face lança Space que mostra quais modelos do Hub rodam no AWS Trainium

O Hugging Face publicou o Space torch-neuronx model support, que responde a uma pergunta prática: quais modelos do Hub rodam sem modificação no AWS Trainium. O backend TorchNeuron (pacote torch-neuronx) permite que o Transformers execute seu próprio código de modelagem no chip como em qualquer outro dispositivo. Em tese, qualquer modelo do Hub pode rodar. O Space mostra quais rodam de fato.

A visão Selected traz a seleção própria entre os modelos mais baixados e em alta, com resultado, número de cores em que o modelo é particionado, tempo total (compilação incluída) e pico de memória. Os testes cobrem hoje só Transformers, em text-generation e image-text-to-text, e só modelos que cabem em 4 dispositivos Trainium2 (até 16 cores). Cada teste gera 32 tokens: em um core, compara com a execução em CPU do mesmo checkpoint; particionado, um modelo juiz pequeno confere se o texto é inglês fluente. Um PASS não diz nada sobre throughput nem sobre gerações mais longas. O script run.py usa from_pretrained, static cache e torch.compile(backend="neuron"), sem torchrun. Os grafos compilados podem ser copiados de um bucket público de cache NEFF, e os resultados ficam no dataset aws-neuron/torch-neuronx-model-support, em Parquet por par de versões.

Em 20 de outubro de 2026, o CEVIU noticiou "TorchNeuron: AWS Trainium e PyTorch impulsionam o treinamento de IA", e em 21 de outubro de 2026, "AWS Trainium adota PyTorch nativamente: uma alternativa estratégica às GPUs NVIDIA", sobre o backend em beta público. Naquele momento o anúncio era a capacidade de rodar PyTorch no Trainium. Agora há uma ferramenta que mostra, modelo a modelo, o que funciona. Em 22 de outubro de 2026, o guia "Por que seu modelo está lento? Guia de profiling do TorchNeuron no AWS Trainium" tratou de desempenho, justamente o ponto que o PASS do Space não cobre.

Para quem avalia migrar inferência para Trainium, o Space corta o primeiro passo de tentativa e erro: dá para checar compatibilidade, memória e número de cores antes de subir uma instância. Mas a leitura exige cuidado. O teste valida corretude em 32 tokens, não custo por token nem latência, então o benchmark próprio continua necessário. O recorte atual (só texto e imagem-texto, até 16 cores) também deixa de fora modelos maiores e outras tarefas.