Guia do mochileiro para treinar em ilhas de compute

O texto parte de um problema prático: capacidade de treino raramente chega em um bloco contíguo. O mercado tem muita oferta em clusters espalhados, de algumas centenas a alguns milhares de GPUs, em várias neoclouds. O gargalo, segundo a fonte, é energia, equipamento de rede elétrica e terreno, não os chips. A previsão citada é que isso dure até 2028. A Goldman Sachs, segundo a fonte, espera que só 50 a 60% da capacidade de data centers dos EUA prevista para os próximos um a dois anos entre no ar no prazo, contra cerca de 72% historicamente.

O caso prático: um MoE esparso com cerca de 32B de parâmetros totais (256 experts, top-8, sem experts compartilhados) foi treinado em dois clusters a cerca de 14 mil km um do outro, com 160 GPUs B300 nos EUA e 160 GB300 na Ásia, em link bidirecional de 25 Gbps. Os sites sincronizaram fragmentos do modelo em janelas de 50 passos, com atualizações assíncronas, otimizador derivado do Distributed Shampoo, compressão com arredondamento estocástico e feedback de erro. Com o mesmo compute, o treino em dois sites chegou a cerca de 0,2525 bits por byte, contra 0,2549 do treino padrão. Num segundo experimento, 64 GPUs GB300 foram divididas em oito células que trocaram fragmentos em pares (butterfly mixing), sem all-reduce, e a qualidade igualou a base. É um estudo de caso de pesquisa, não um produto disponível.

Para quem opera treino em larga escala, a leitura é que o gargalo se desloca de comprar GPU para fazer a pilha de software tolerar capacidade fragmentada e heterogênea. Isso pode ampliar quem consegue tentar treinos grandes. O risco que a própria fonte aponta pesa na mesma conta: com vários provedores, um site falho ou comprometido pode degradar o modelo sem deixar rastro claro. Em 31 de agosto de 2026, o CEVIU noticiou "Disponibilidade na Nuvem: Entendendo os Riscos Onipresentes para Equipes de Dados", tema vizinho sobre falhas em infraestrutura, mas sem relação direta com este experimento.