Otimização da Busca Vetorial: Índices ANN On-Disk vs. In-Memory

A infraestrutura de busca vetorial enfrenta desafios de custo e escalabilidade significativos ao lidar com índices massivos, na casa de centenas de milhões a bilhões de itens. Nesses cenários, o HNSW (Hierarchical Navigable Small World), um algoritmo ANN (Approximate Nearest Neighbor) baseado em RAM, embora ofereça baixa latência para coleções menores, torna-se proibitivamente caro e propenso a gargalos de memória. Para contornar essa questão, índices ANN baseados em disco, como SPANN e DiskANN, surgem como alternativas viáveis.

A cobertura anterior do CEVIU, em matérias como "HNSW vs. LSH: Como o Elasticsearch atinge 0.99 recall@10 a 15.000 QPS" de 11 de junho de 2026 e no "Guia para desenvolvedores Postgres: tradeoffs em índices vetoriais" de 1 de junho de 2026, já destacava o HNSW como uma solução padrão e dominante. Agora, observamos que essa dominância é desafiada pelo custo em escala. Os índices on-disk reduzem drasticamente os custos operacionais ao migrar a maior parte dos dados para SSDs ou armazenamento de objetos, otimizando o I/O de disco. O SPANN, por exemplo, agrupa vetores em clusters com seus centróides em RAM e os dados em disco, otimizando o carregamento sequencial. Já o DiskANN utiliza um grafo de camada única (Vamana) com vetores quantizados em RAM e os originais em disco, minimizando acessos randômicos. Para workloads complexos como RAG (Retrieval Augmented Generation), busca semântica e memória agentic, a principal troca reside em aceitar uma latência maior e mais variável em prol de uma substancial redução nos gastos com infraestrutura.

A cobertura anterior do CEVIU, incluindo a matéria "HNSW vs. LSH: Como o Elasticsearch atinge 0.99 recall@10 a 15.000 QPS" de 11 de junho de 2026 e o "Guia para desenvolvedores Postgres: tradeoffs em índices vetoriais" de 1 de junho de 2026, estabeleceu o HNSW como a solução padrão e de alta performance para busca vetorial. A mudança agora é a emergência e validação prática de alternativas on-disk, como SPANN e DiskANN, que não eram o foco central previamente. O que antes era uma premissa de eficiência do HNSW para muitas aplicações, hoje se revela um desafio de custo e escalabilidade para índices massivos, tornando as soluções on-disk não apenas viáveis, mas necessárias. A discussão evoluiu de "como otimizar HNSW" para "quando HNSW não é mais o suficiente e quais são as alternativas on-disk".

A escalabilidade e o custo de inferência são pontos críticos na arquitetura de IA, como já abordado na matéria "Infêrencia de IA: O epicentro dos custos e a busca por eficiência em Data Centers" de 12 de julho de 2026. A escolha do índice vetorial, seja in-memory ou on-disk, tem um impacto direto nos custos de infraestrutura e na performance de aplicações de IA que utilizam busca vetorial. Isso é crucial para workloads como RAG, busca semântica e memória para agentes de IA, um tema que o CEVIU já explorou em "Otimização de Custos em Aguns de IA: A Estratégia de Caching de Prompts" de 24 de julho de 2026. Entender esses trade-offs permite projetar sistemas de IA mais eficientes e economicamente sustentáveis.