NVIDIA defende codesign full-stack para driblar o gargalo de memória da IA

A NVIDIA parte de um diagnóstico direto: modelos com trilhões de parâmetros, KV cache crescente e trajetórias agentic (que em alguns casos processam até 3 milhões de tokens) pressionam a HBM, enquanto a oferta de memória aperta e os preços sobem. Na inference, a HBM guarda sobretudo os parâmetros do modelo e o KV cache, e os dois disputam capacidade limitada.

A empresa argumenta que mais capacidade não resolve sozinha, porque ela só rende o que a largura de banda consegue movimentar. Passado o memory wall, a HBM extra continua custando e consumindo energia sem ser aproveitada. A resposta é a hierarquia: NVFP4 para encolher pesos e KV cache em relação ao FP8, pesos distribuídos por até 72 GPUs no NVL72, memória LPDDR da Vera CPU ligada às GPUs Rubin por NVLink-C2C, e o Dynamo movendo contexto inativo para o armazenamento CMX. Nos embeddings de RAG, o índice fica fora da HBM. Nos números da própria NVIDIA, do Blackwell Ultra ao Vera Rubin a HBM por GPU subiu cerca de 3%, e o throughput agentic por dólar subiu até 30x no SemiAnalysis AgentX.

Em 11 de agosto de 2026, o CEVIU noticiou "Nvidia explora versões do Rubin Ultra com menos memória para driblar escassez", e em 14 de agosto de 2026, "Nvidia Reavalia Memória HBM para Rubin Ultra em Meio à Escassez Global". Ambas tratavam da possível redução de memória como movimento reportado por fontes do setor, ou seja, sem confirmação. Agora a NVIDIA apresenta, em texto próprio, a lógica técnica para lidar com a escassez: extrair mais trabalho de cada byte em vez de depender só de mais HBM por GPU. O texto não confirma nenhuma configuração do Rubin Ultra.

Para quem opera ou dimensiona clusters de inference, a leitura é que o custo por token tende a depender mais da gestão da hierarquia de memória do que do tamanho da HBM. Isso muda a conta de compra: software, rede e armazenamento entram no cálculo. Vale lembrar que os ganhos citados vêm de benchmarks escolhidos e divulgados pela própria fornecedora.