Balanceamento de Carga e Escalabilidade para Servir LLMs

O balanceamento de carga para grandes modelos de linguagem (LLM) exige estratégias de roteamento cientes de cache especializadas. Abordagens tradicionais round-robin podem degradar as taxas de acerto do cache de prompt de 50-90% para apenas 1/N em N réplicas, anulando os benefícios de custo e latência. Uma nova técnica, chamada roteamento preciso ciente de cache de prefixo — que utiliza árvores radix e eventos de cache KV em tempo real de motores de inference — pode melhorar o throughput em até 108% em comparação com o balanceamento de carga padrão do Kubernetes. Isso é alcançado garantindo que as requisições atinjam servidores que já possuem o histórico de conversação relevante em cache.