HNSW em Escala: Por Que Adicionar Mais Documentos ao Seu Banco de Dados Prejudica o RAG

Quando sistemas RAG baseados em HNSW excedem cerca de 100 mil vetores, a latência cresce super linearmente e o recall diminui , frequentemente retornando resultados muito similares, mas irrelevantes para consultas raras. As causas incluem armadilhas de mínimos locais, hubness em altas dimensões e pressão de memória. As mitigações ️ incluem o ajuste de M, ef_construct e ef_search, o uso de retrieval híbrido em duas etapas, a aplicação de quantização com oversampling e rescoring, e a dependência de engines otimizados como o Qdrant.