Compressão KV Eficaz com TurboQuant

TurboQuant é um algoritmo de quantization e compressão projetado para caches Key-Value (KV) em grandes modelos de linguagem e sistemas de busca vector. Ele emprega o PolarQuant para inicialmente mapear vectors em coordenadas polares. Em seguida, aplica o QJL (Quantized Johnson-Lindenstrauss), que realiza uma correção mínima de 1 bit para eliminar vieses ocultos. Este processo permite uma compressão de até aproximadamente 3 bits por valor, com perda de precisão praticamente inexistente.