VLLM Inova com Transferência KV Push-Based para Otimizar Inferência de IA

O motor vLLM continua na vanguarda da otimização de inferência para Large Language Models (LLMs), agora com uma metodologia de transferência KV (key-value) baseada em push. A nova abordagem foi projetada para lidar com os gargalos de latência em arquiteturas de inferência desagregada, onde o pré-processamento (prefill) e a decodificação (decode) rodam em instâncias separadas. Essa separação permite escalar e otimizar cada fase independentemente, mas exige uma transferência eficiente do cache KV do prefill para o decode. A vLLM propõe que a transferência push-based, utilizando o conector NIXL sobre RDMA (como AWS EFA), reduz o Time To First Token (TTFT) e o Time Per Output Token (TPOT) ao sobrepor o trabalho do produtor (prefill) e do consumidor (decode).

A principal inovação é remover a serialização do modelo pull-based. No pull, a instância de decode precisava alocar blocos e iniciar a transferência após o prefill estar pronto, adicionando latência. O modelo push permite que a instância de decode registre seus blocos de destino com antecedência, enquanto o prefill ainda computa o KV. A transferência começa assim que os blocos do produtor estão prontos. Além disso, o setup da transferência é movido para uma thread em background no lado do prefill, liberando o loop principal do decode para a geração de tokens. Isso garante que o trabalho de preparação da transferência não atrase a execução do modelo, resultando em menor TTFT e maior throughput.

Essa atualização do vLLM representa um avanço significativo na otimização da transferência de KV-cache, especialmente em comparação com outras abordagens já discutidas no CEVIU. Em 27 de fevereiro de 2026, a matéria sobre o DualPath para Inference de LLM Agentic de Alta Vazão destacava uma estratégia de carregamento de KV-cache com caminho duplo, focada na transferência de storage para prefill e decode, visando aliviar gargalos de I/O em sistemas desagregados. O vLLM agora complementa essa visão, não focando na origem (storage), mas sim na mecânica da transferência pré-computada para a decodificação, otimizando o fluxo de dados entre as instâncias prefill e decode. Isso mostra uma evolução contínua na busca por arquiteturas de inferência mais eficientes, atacando diferentes pontos de atrito.

A otimização de TTFT e TPOT é vital para a experiência do usuário e para a economia de infraestrutura em serviços de IA. Um TTFT mais baixo significa respostas mais rápidas, um fator crítico para aplicações interativas como chatbots e assistentes virtuais. Um TPOT melhorado permite gerar mais tokens por segundo, aumentando o throughput total do sistema e, consequentemente, a capacidade de atender a mais requisições com a mesma infraestrutura, ou reduzir custos. Em testes com o modelo Qwen3-32B, o modo push entregou uma redução de até 3x no TTFT e 30% no TPOT sob altas taxas de requisição, números que impactam diretamente a viabilidade e escalabilidade de LLMs em produção. Empresas como AWS, que apoiam o desenvolvimento de soluções como essa, mostram o valor estratégico de tais inovações para o ecossistema de computação em nuvem e IA.