Spotify Acelera Consultas em Data Lakes com Novo Sistema de Indexação

O Spotify lida com petabytes em Bigtable e exabytes em seu data lake GCS. Para serviços online e Agentes de IA que demandam respostas rápidas, consultas por chave em grandes volumes de dados são um desafio. Motores SQL distribuídos, como Trino e BigQuery, geram latência de segundos para agendamento e planejamento. Eles são otimizados para throughput analítico e não para consultas interativas de ponto.

É aqui que o Random Access Parquet (RAP) entra. Ele mapeia chaves diretamente para posições de arquivo e números de linha dentro de arquivos Parquet existentes, eliminando a necessidade de modificar os arquivos. Isso permite que leituras paralelas de intervalos precisos busquem apenas os bytes necessários, substituindo varreduras SQL distribuídas. Otimizações como descarga de página por chave, redefinições de frame ZSTD e intercalação de colunas minimizam bytes lidos e o tráfego de rede, viabilizando que os mesmos arquivos Parquet sirvam tanto para processamento em lote quanto para consultas online de baixa latência.

A cobertura do CEVIU em 3 de julho de 2026, com o artigo "Apache Hudi: Índices eficientes em lagos de dados dinâmicos", detalhou estratégias e desafios gerais para indexação. Naquela ocasião, discutimos técnicas como filtros de Bloom, que ajudam a estreitar varreduras. Com o RAP, o Spotify dá um passo além: seu índice externo é definitivo. Ele não apenas reduz a busca, mas aponta para o local exato dos dados, eliminando completamente a varredura para consultas de ponto. Esta é uma implementação concreta que avança a discussão de otimização de índices em data lakes.

A implementação do RAP é um marco crucial para arquiteturas de dados. Ela quebra a barreira entre as necessidades de processamento em lote (batch) e de consultas interativas (online) em data lakes, um desafio persistente na indústria. Ao permitir que os mesmos arquivos Parquet suportem ambos os cenários de uso de forma eficiente, o Spotify evita a replicação de dados em sistemas mais caros como key-value stores.

Isso acelera o desenvolvimento de serviços online e a capacidade de Agentes de IA interagirem com dados históricos em tempo real, sem o custo e a complexidade de gerenciar cópias de dados. É uma otimização significativa para o ecossistema de dados.