Como os tamanhos de modelos podem escalar de 2023 a 2031

A escala de modelos de IA não é só uma questão de mais parâmetros, é um equilíbrio entre memória, velocidade de acesso e poder de treinamento. O artigo mostra que, mesmo com avanços em HBM como HBM4E e HBM5, o limite real de tamanho não vem da capacidade de treinar, mas da capacidade de servir. Se um modelo precisa gerar 80 tokens por segundo, e cada leitura de peso exige passar por múltiplas unidades de memória em sequência, o número de estágios no pipeline fica restrito. Isso força um teto: mesmo que tenha compute para treinar um modelo de 1,4 quadrilhão de parâmetros em 2031, ele só será viável se a arquitetura de servidor conseguir lê-lo rápido o suficiente. A diferença entre um H100 e um sistema Feynman não é só potência, é latência. Um H200 demora 30 ms para ler toda sua HBM; um chip Feynman de 2030, com HBM5 e pilhas mais altas, reduz isso para 14 ms. Isso permite mais estágios no pipeline e, por consequência, modelos maiores. Mas o gargalo real está na disponibilidade de dados únicos. Se só existem 200 trilhões de tokens únicos para treinar, e o modelo ótimo exigiria 800 trilhões, a solução não é apenas aumentar o tamanho, é repetir dados ou aumentar a esparsidade. Isso torna os modelos de 2031 não apenas maiores, mas mais complexos de otimizar.

Essa análise muda a forma como se pensa em investimento em IA. Empresas não devem apenas correr atrás de mais GPUs, precisam projetar infraestrutura de inferência tão bem quanto a de treinamento. Um modelo de 1,4 quadrilhão de parâmetros pode ser treinado, mas se não couber em 8 sistemas Kyber Feynman com latência aceitável, ele vira um experimento caro. A escolha entre FP4, FP8 e BF16 não é técnica, é estratégica. FP8 reduz o tamanho do modelo pela metade na memória, mas exige mais poder de processamento. Se a NVIDIA aposta em FP8 no Rubin, é porque já sabe que o futuro não é em parâmetros brutos, mas em eficiência de acesso. Isso também explica por que modelos como o DeepSeek-V3 usam expert parallelism dentro de um único sistema: cruzar limites de rack quebra a latência. O próximo grande salto não virá de um novo algoritmo, mas de uma nova configuração de rack, de uma nova forma de organizar memória e rede. Quem entender isso primeiro, domina o próximo ciclo de inovação.