Biblioteca de kernels Humming para inference quantizada chega com foco em flexibilidade e desempenho

O Humming é uma biblioteca de kernels para inference quantizada aberta pela Ant Group em parceria com a comunidade vLLM. A proposta é cobrir muitas combinações de quantization sem escrever um kernel dedicado para cada uma. Ele aceita formatos como WNA16, W8A8, W4A8 e W4A4, com tipos inteiros e de ponto flutuante, para cargas dense e MoE. O argumento da fonte é que o custo de memória pesa muito em MoE: o DeepSeek-V3 tem 671 bilhões de parâmetros, mas ativa 37 bilhões por token, e todos os pesos precisam ficar armazenados.

A arquitetura converte os formatos exportados por diferentes ferramentas para um formato padrão do Humming. Depois, três configurações (Layer Config, Compute Config e Tuning Config) definem o kernel, que é compilado via JIT com NVRTC ou NVCC e fica em cache. Num teste com um único kernel W4A16 em um servidor H200 com CUDA 13.4 e caches desativados, a compilação caiu de 23,35 segundos (CUTLASS com NVCC) para 1,82 segundo (Humming com NVCC) e 1,88 segundo (NVRTC). O suporte cobre GPUs NVIDIA da Turing em diante e o Zhenwu 810E, da T-Head. Em W4A16 denso, a fonte diz que o Humming iguala ou supera o Marlin do vLLM na maioria dos casos testados, com cerca de 2x no H200 em lotes grandes e mais de 3x em alguns casos no B300. Esses números vêm de microbenchmarks rodados pela própria comunidade vLLM.

Para quem opera inference com modelos quantizados, o ganho prático está em reduzir o trabalho de manutenção por formato e o tempo de preparar kernels para novos workloads. Para quem ainda usa H200 ou GPUs anteriores à Blackwell, o caminho W4A8-MXFP4 permite manter pesos em 4 bits sem depender de suporte nativo. Vale validar os benchmarks no seu próprio hardware e modelo antes de migrar, já que os resultados são da comunidade que desenvolve o projeto.