Cohere Inova com Megakernel para Otimizar Inferência em GPUs, Superando Desempenho do vLLM

A Cohere está sacudindo o cenário da inferência de LLMs com seu megakernel, uma sacada que muda como a GPU executa as operações. Tradicionalmente, cada passo de decodificação de um LLM envolve múltiplos lançamentos de kernel (QKV, atenção, MoE), com cada lançamento introduzindo uma sobrecarga de latência significativa. É a GPU gastando mais tempo esperando do que realmente calculando, especialmente com batch sizes pequenos. O megakernel resolve isso unificando todo o processo de decodificação em um único kernel persistente.

A sacada aqui é a otimização da largura de banda de memória, e não apenas dos FLOPs. Para cada passo de decodificação, um modelo como o North Mini Code (30B parâmetros) precisa de muito tráfego de memória, movendo gigabytes de pesos. A técnica da Cohere atinge 292 tokens por segundo em batch size unitário, 1.58x mais rápido que o vLLM, e um throughput de ponta a ponta 1.25x a 1.41x maior. Isso acontece porque a arquitetura do megakernel reduz a sobrecarga de lançamento e sincronização, otimiza o uso dos SMs da GPU e permite o pré-carregamento agressivo de pesos, diminuindo as 'pausas' na execução.

Enquanto o vLLM tem investido pesado em técnicas como a decodificação especulativa, que o CEVIU News cobriu em 8 de setembro de 2026 (matéria 'VLLM Impulsiona Decodificação Especulativa em GPUs AMD') e em 27 de agosto de 2026 ('Decodificação Especulativa: O Segredo para Acelerar LLMs em até 3 Vezes'), a Cohere agora apresenta um caminho diferente com os megakernels. A abordagem da Cohere foca na otimização da execução de kernel de baixo nível para espremer cada gota de performance da GPU, superando o vLLM em benchmarks de throughput puro. Não é uma substituição direta, mas uma evolução em estratégias complementares de otimização de inferência.

Para desenvolvedores, essa inovação significa mais eficiência e menos custo. Um motor de inferência mais rápido e com melhor aproveitamento de hardware permite deploy de modelos de linguagem maiores e mais complexos, com latência reduzida e maior throughput. Isso abre portas para aplicações de IA generativa mais responsivas e escaláveis, desde assistentes de código até sistemas de processamento de linguagem natural em tempo real. A performance na inferência é um gargalo, e a solução da Cohere mostra que ainda há muito espaço para inovar na interação entre software e hardware.