GLM-5.2 e AMD Redefinem Custo-Benefício na Inferência de IA, Superando Desempenho da NVIDIA

A inferência de IA em escala exige hardware poderoso, mas o custo tem sido um gargalo. O modelo GLM-5.2, rodando em processadores AMD MI355X, alcançou um marco impressionante de 2626 tokens por segundo por nó. Este desempenho é duplamente eficiente em custo frente a configurações da NVIDIA, mostrando uma otimização profunda para extrair o máximo do hardware AMD. A equipe por trás do feito precisou quantizar o GLM-5.2 de bf16 para MXFP4 usando AMD Quark e escolher o framework sglang, que ofereceu a menor fricção para suporte nativo e aproveitou a quantização sem perda de qualidade.

Os desafios técnicos não foram poucos. A otimização do speculative decode no sglang, por exemplo, exigiu correções no gerenciamento de pesos do MTP head e a inclusão de um guarda para ROCm em um kernel que usava `cuda_runtime.h`. Para a vazão agregada, o ajuste do kernel MoE foi crucial, já que o GLM-5.2 usava um fallback menos eficiente no sglang. A tunagem resultou em um ganho significativo, provando que o desempenho de ponta em hardware AMD agora é mais uma questão de suporte e otimização inteligente do que de software fundamentalmente deficiente.

A cobertura anterior do CEVIU News sobre hardware AMD para IA apontava para o desafio do seu ecossistema de software, que exigia esforço considerável para alcançar o desempenho máximo. A matéria de 16 de junho de 2026, por exemplo, discutia como avanços em arquiteturas open-source tornavam a execução de modelos locais uma realidade, mas a lacuna de suporte em software ainda era perceptível.

A notícia atual mostra uma evolução clara: o GLM-5.2 na AMD MI355X demonstra que essa lacuna está diminuindo. O que antes era uma barreira, com semanas de engenharia para otimizar modelos novos, agora se traduz em ganhos de eficiência que superam a NVIDIA em custo-benefício. A capacidade de atingir 2626 tokens/s/nó sem a necessidade de escrever kernels customizados, apenas com otimizações de framework, sinaliza que o 'fosso do CUDA' está, de fato, erodindo em tempo real.

Para a comunidade de desenvolvimento, esta notícia muda o jogo. A inferência de modelos de IA, especialmente os de ponta como o GLM-5.2, costumava ser um investimento pesado, dominado por um único player de hardware. Agora, com a AMD demonstrando competitividade de performance-por-dólar, abre-se um leque de opções para otimizar custos.

Desenvolvedores podem considerar arquiteturas mais acessíveis sem comprometer a performance, o que democratiza o acesso a recursos de IA avançados. Isso estimula a inovação, permitindo que mais equipes e startups experimentem e implementem soluções de IA. A pressão competitiva também pode levar a avanços em software e hardware por todas as partes, beneficiando todo o ecossistema.