Sumarização de KV Cache Guiada por Entropia via Reconstrução de Attention de Baixo Rank

Um novo método de compressão de KV-cache para LLMs substitui o simples token pruning por uma abordagem mais inteligente: ele identifica contextos de baixo valor, os resume matematicamente e armazena uma versão compacta em vez de simplesmente deletá-los. Em testes, essa técnica resultou em maior precisão e menor uso de memória do que os métodos comuns Top-K ou sliding-window, sugerindo que janelas de contexto mais longas podem ser gerenciadas com maior eficiência.