StarTree leva busca vetorial a tabelas Apache Iceberg sem copiar os dados de origem

A StarTree estendeu o índice vetorial HNSW do Apache Pinot para embeddings que ficam no data lake. O fluxo usa as External Tables da StarTree: os registros continuam em arquivos Parquet de tabelas Iceberg, com os embeddings numa coluna float[] gerada pelo pipeline do próprio usuário. O Pinot constrói o índice sobre essa coluna sem copiar os dados para segmentos nativos. A consulta é SQL: a função VECTOR_SIMILARITY faz a busca aproximada (ANN) e atua como predicado de filtro, e a cosineDistance calcula as distâncias dos candidatos para ordenar o resultado.

O problema técnico era que o HNSW pressupõe acesso aleatório barato, e o Lucene (base da implementação do Pinot) usa arquivos .vec, .vex e .vem com semântica de disco local. A StarTree consolidou esses arquivos no arquivo combinado columns.psf, passou a ler o índice por um PinotDataBuffer e reaproveitou a infraestrutura de tiered storage nas External Tables. Para isso, a configuração exige a propriedade storeInSegmentFile. O índice vive no object storage, cada segmento tem o seu, e as consultas rodam em paralelo nos servidores, então computação e armazenamento escalam separados. Num teste inicial com 100 mil documentos e S3, a StarTree mediu cerca de 50 ms de latência mediana em consultas quentes, e o próprio texto avisa que isso não é garantia para produção. O custo: o índice tem tamanho próximo ao dos embeddings brutos (o grafo HNSW soma poucos pontos percentuais) e precisa ser mantido conforme a origem muda. Detalhes na documentação de StarTree.

Para quem opera um lakehouse com Iceberg como fonte da verdade, a proposta corta um pipeline: não há segunda base vetorial para sincronizar. Em contrapartida, vale planejar o armazenamento extra do índice e aceitar que a atualização acompanha os snapshots do Iceberg, não a ingestão em tempo real. Para cargas que exigem frescor de segundos, isso pode pesar. Os números ainda vêm de uma prova de conceito pequena, então vale testar com o seu volume antes de decidir.