Caching Avançado de Prompts em Escala

O caching de prompts melhora a latência e reduz custos ao reutilizar estados KV. Contudo, escalar entre réplicas diminui as taxas de acerto do cache, a menos que seja mitigado com afinidade de sessão, roteamento em camadas e balanceamento de carga com reconhecimento de prefixo. O desempenho ideal depende de prompts estruturados, monitoramento e do balanceamento entre os tradeoffs de cache local e compartilhado.