Kimi K3 brilha em GPUs AMD MI355X, superando Nvidia em eficiência

O modelo Kimi K3 da Wafer chega com 2.8 trilhões de parâmetros, exigindo mais de 1.5TB de VRAM. Essa demanda o torna inviável para um único nó de GPUs Nvidia B200, que oferecem 192GB por GPU. A solução encontrada foi a GPU AMD MI355X, que disponibiliza 288GB de VRAM e custa cerca de 2.4 vezes menos que uma Nvidia B300 e 1.7 vezes menos que uma B200. Mesmo com a desvantagem histórica da AMD em suporte de software, a Wafer conseguiu otimizar o Kimi K3 para a MI355X, mostrando que o fosso de software está diminuindo.

O Kimi K3 rodando na MI355X atingiu 952 tokens por segundo por nó. Embora a Nvidia B300 ainda tenha um throughput agregado cerca de 1.65 vezes maior, seu custo elevado faz com que a MI355X ofereça uma performance por dólar superior. As otimizações incluíram o conserto do decodificador especulativo, que resultou em um ganho de 2.2 vezes na performance de fluxo único, e a correção de um kernel de pré-preenchimento, acelerando o time-to-first-token (TTFT) em 2 a 3 vezes. Esses ajustes técnicos foram cruciais para extrair o máximo do hardware da AMD.

A cobertura anterior do CEVIU News, como a de 11 de julho de 2026 sobre o GLM-5.2, já destacava o potencial das GPUs AMD MI355X para inferência de IA, inclusive superando o custo-benefício da Nvidia. Artigos como os de 21 e 29 de julho de 2026 detalhavam a arquitetura inovadora do próprio Kimi K3, com seus 'sparse experts' e 'attention residuals', prometendo eficiência e escalabilidade. Agora, o que vemos é a materialização dessas promessas. Não se trata mais apenas de arquitetura ou rumores de potencial, mas de resultados de benchmark concretos, com o Kimi K3 operando efetivamente na MI355X e demonstrando performance por dólar que desafia o domínio da Nvidia.

As otimizações de software específicas que a Wafer implementou, como a correção do decodificador especulativo e do kernel de pré-preenchimento, transformam o que antes era um desafio conhecido (o ecossistema de software da AMD) em um diferencial. Esses avanços mostram que o suporte ao ROCm, antes visto como um ponto fraco, está amadurecendo rapidamente. Isso move a conversa do “potencial da AMD” para a “realidade da AMD” em um mercado de inferência de IA cada vez mais competitivo.

Este resultado é um marco significativo na corrida da IA. Ele valida a AMD como uma alternativa robusta e economicamente viável para a execução de modelos de IA de grande escala, como o Kimi K3, que rivalizam com as soluções de ponta. A disputa por performance por dólar beneficia diretamente o mercado, pois força a inovação e oferece mais opções para empresas e pesquisadores que buscam democratizar o acesso a modelos de IA cada vez mais poderosos.

A evolução do suporte de software para a plataforma ROCm da AMD, que permitiu essas otimizações sem a necessidade de kernels customizados complexos, é um sinal de maturidade. Isso sugere que a "vantagem" da Nvidia em software, embora ainda presente em alguns aspectos, pode não ser mais uma barreira intransponível. A capacidade de rodar modelos "frontier" em hardware AMD com eficiência abre novas portas para o desenvolvimento e implantação de IA open-source.