NVIDIA propõe AutoCompress, framework de pruning de LLMs guiado pelo hardware

O AutoCompress parte de um problema prático do pruning de LLMs: contagem de parâmetros não prevê latência, throughput nem uso de memória. Esses números dependem da arquitetura, da carga de trabalho, do hardware e do engine de serving. Hoje, quem comprime um modelo costuma escolher tamanhos na mão e testar até caber no limite de GPU.

O framework coloca essas restrições direto na busca diferenciável de arquitetura. Otimiza a estrutura global e a de cada camada, o que gera arquiteturas heterogêneas. A busca é guiada por modelos de custo do serving engine, validados contra medições reais de latência, throughput e memória de ponta a ponta. Os testes cobrem três cenários: coding local com contexto longo, serving em lote em datacenter e interação em jogos sensível a latência. Contra o Minitron, framework de pruning de referência, a média de oito benchmarks sobe 6,57 pontos percentuais na RTX 5070, 2,35 na RTX 5080 e 0,57 na H100. O Nemotron 3.5 Super foi de 120B para 74B parâmetros, para servir em uma única B200 em BF16 com contexto de 128K, mantendo 95% da pontuação média.

Para quem opera inferência, o ganho mais visível está nas GPUs menores: a vantagem sobre o Minitron é maior na RTX 5070 do que na H100. Isso sugere que compressão guiada por hardware compensa mais onde a memória aperta. Vale notar que o resultado de 95% do score é a média de benchmarks, e o próprio paper é pesquisa, não produto disponível. Quem for aplicar precisa validar na sua carga e no seu engine de serving.