Apresentando o Loon: um novo storage engine para dados vetoriais em constante mudança

O Loon é um storage engine de código aberto lançado pela Zilliz em 9 de junho de 2026, projetado especificamente para gerenciar dados vetoriais em constante evolução, como embeddings atualizados, backfills contínuos, versões múltiplas de modelos e cargas de trabalho mistas (online + offline). Diferentemente de engines tradicionais que tratam vetores como colunas estáticas, o Loon introduz uma arquitetura baseada em ColumnGroups, formatos de arquivo híbridos (Parquet ajustado para leitura pontual com grupos de linhas de 1 MB, Vortex para vetores densos/esparsos com acesso aleatório otimizado) e um Manifest versionado que rastreia alterações de forma atômica. Ele permite atualizações independentes de escalares, vetores e referências a objetos brutos (PDFs, vídeos, imagens), sem reescrita completa do dataset, reduzindo significativamente custo computacional e latência em ambientes de IA produtiva.

O Loon fundamenta o Milvus 3.0 beta e é peça central do Zilliz Vector Lakebase, que marca a transição da Zilliz de um banco de dados vetorial puro para uma plataforma lake-native, unificando operações online (recuperação em tempo real), descoberta offline (análises batch) e computação elástica sob uma única camada lógica de dados. O nome 'Loon' (mergulhão) simboliza a capacidade do sistema de acessar apenas as partes necessárias de um 'lago' de dados, sem escanear ou mover todo o conjunto a cada operação.

Para equipes de engenharia de IA no Brasil e globalmente, o Loon resolve problemas práticos críticos: a reescrita massiva de dados vetoriais durante atualizações de embedding (ex.: migração de all-MiniLM-L6-v2 para text-embedding-3-large), o alto custo de backfills em pipelines de RAG e a duplicação de dados entre armazenamento de objetos e bancos vetoriais. Ao permitir atualizações granulares e versionamento nativo, o Loon reduz custos de armazenamento em nuvem (AWS S3, GCP Cloud Storage) e melhora a consistência em aplicações que dependem de múltiplas versões de vetores simultaneamente, como sistemas de recomendação com A/B testing de modelos ou agentes com memória vetorial versionada. É especialmente relevante para empresas que já usam Milvus ou Zilliz Cloud e buscam escalar cargas de trabalho de IA sem refatorar toda a infraestrutura de dados.

Desenvolvedores e engenheiros de dados passam a ter controle fino sobre o lifecycle dos vetores: podem adicionar, substituir ou deletar vetores esparsos ou densos sem afetar metadados em Parquet ou referências a blobs, graças ao alinhamento de row-ID e ao Manifest. APIs do Milvus 3.0 beta expõem operações de versioned upsert e column-level compaction, permitindo pipelines que atualizam embeddings sem downtime. Ferramentas como LangChain e LlamaIndex ganham suporte mais robusto para cenários de vector store mutation, essencial em aplicações de RAG dinâmico, onde documentos são revisados ou anotados continuamente. Além disso, o Loon facilita a interoperabilidade com ecossistemas de lakehouse (Delta Lake, Iceberg) via integração com formatos padrão, tornando viável o uso compartilhado de dados entre MLflow, Spark e serviços de inferência em tempo real.