Localidade do Cache KV: A Variável Oculta no Custo de Serving de LLMs

A localidade do cache KV atua como um multiplicador no hardware existente. As mesmas GPUs, servindo o mesmo modelo e gerenciando o mesmo tráfego, podem gerar diferenças mensuráveis em throughput e latência, dependendo de qual GPU recebe cada solicitação. 'Balanceado' e 'eficiente' não são sinônimos quando cada solicitação contém milhares de tokens que podem já estar em cache em algum lugar do cluster. Esta publicação aborda o custo da recomputação, como medi-lo e as mudanças quando os load balancers compreendem a localidade dos tokens.