Cohere revela megakernel de inferência para o North Mini Code, superando vLLM em desempenho

A Cohere atacou um dos grandes gargalos da inferência de Large Language Models (LLMs): a ineficiência de hardware na decodificação. Enquanto a maioria dos servidores trata cada passagem de decodificação como uma sequência de kernels de GPU separados (QKV, atenção, MoE, etc.), com pausas custosas entre eles, a Cohere inovou com um sistema de inferência completo centrado em um megakernel de decodificação para seu modelo North Mini Code. Este megakernel essencialmente funde diversas operações em um único kernel persistente, eliminando o tempo de espera e aproveitando melhor a largura de banda da memória HBM, um fator crucial para a performance em inferência.

A arquitetura detalhada pela Cohere não é apenas um conceito, mas uma implementação robusta que integra continuous batching, paged attention e suporte a sequências de comprimento variável. Mais do que isso, o sistema é acessível via um endpoint compatível com OpenAI e inclui capacidade de tool calling, facilitando a integração em aplicações existentes. Os resultados impressionam: 292 tokens por segundo com batch size de 1, atingindo 62% do Speed-of-Light (SoL) e superando o vLLM em 1,58 vezes, mantendo a precisão e a vantagem em diversos cenários, inclusive com contextos de até 256K. Isso mostra um salto na forma como a inferência de LLMs é executada em GPUs.

A otimização na inferência de LLMs é fundamental para reduzir os custos operacionais e expandir o acesso a modelos de IA mais poderosos. Ao superar as limitações de throughput impostas por arquiteturas de inferência tradicionais, a abordagem de megakernels da Cohere não apenas torna modelos como o North Mini Code mais rápidos, mas também mais econômicos para serem implantados em escala. Isso permite que empresas e desenvolvedores utilizem IA avançada de forma mais eficiente, acelerando a inovação e a criação de novas aplicações que antes seriam inviáveis devido ao custo computacional.