API Genérica Transforma Ativos Não-Iceberg em Dados Governados

A versão 0.13.0 do Lakekeeper, uma biblioteca escrita em Rust para catálogos Iceberg, introduz a API de Tabela Genérica. Essa funcionalidade permite que ativos de dados que não seguem o formato Iceberg, como os datasets Lance, sejam catalogados e governados por um catálogo Iceberg sem a necessidade de conversão. O Lakekeeper atua como uma fronteira de governança, registrando o nome, o tipo de formato (como "lance"), a localização base e propriedades opcionais do ativo. O catálogo então gerencia a identidade, o acesso, o ciclo de vida e as credenciais de acesso, mas não o conteúdo ou o layout interno dos dados, o que permanece sob a responsabilidade do formato nativo e seu próprio leitor.

A API reutiliza mecanismos já existentes no Lakekeeper para tabelas Iceberg, incluindo identidade e armazenamento, namespaces para organização hierárquica, o robusto modelo de autorização (baseado no OpenFGA, uma implementação do Zanzibar do Google) e a delegação de credenciais. Isso significa que um dataset Lance, por exemplo, agora pode ter um proprietário, herdar permissões, e ter suas credenciais de acesso temporárias e com escopo definido emitidas exatamente como uma tabela Iceberg. O processo de criação de uma tabela genérica envolve gravação no banco de dados do catálogo e no sistema de permissões (OpenFGA), com transações e limpezas para garantir consistência. O objetivo é transformar um "prefixo S3 com dados" em um ativo de catálogo governado, aumentando a descoberta e segurança.

Até a chegada da API de Tabela Genérica do Lakekeeper v0.13.0, a governança de ativos não-Iceberg dentro de um catálogo Iceberg frequentemente exigia gambiarras. Desenvolvedores costumavam "fingir" que o ativo era uma tabela Iceberg, armazenando os detalhes reais do formato e localização em propriedades arbitrárias. Isso criava uma desconexão: o catálogo não tinha uma representação nativa do ativo e a governança era feita por convenção, não por design explícito.

Agora, o Lakekeeper oferece um objeto de primeira classe para essas tabelas genéricas, integrando-as diretamente nos seus modelos de identidade, namespaces, autorização e delegação de credenciais. Essa evolução é um reflexo de uma tendência mais ampla no ecossistema Lakehouse: a busca por governança unificada. Outras iniciativas, como o Apache Gravitino, já exploram a governança de Iceberg e Lance sob uma única camada de metadados, como destacado na cobertura do CEVIU de 11 de junho de 2026. Além disso, o próprio Apache Polaris está convergindo para uma API genérica de formato semelhante, inclusive especificando headers para delegação de acesso, um movimento que se alinha à padronização facilitada por projetos como o OpenSharing, da Linux Foundation, noticiado em 15 de junho de 2026. A mudança é clara: de abordagens ad-hoc para soluções estruturadas e interoperáveis para governança de dados heterogêneos.

A API de Tabela Genérica do Lakekeeper é um avanço crucial para equipes de plataforma e engenheiros de dados que lidam com ecossistemas de dados heterogêneos. Ela resolve o desafio de unificar a governança de diversos formatos de dados, como Lance e Iceberg, sem forçar a conversão de um para outro. Isso simplifica a arquitetura, reduz a complexidade operacional e minimiza os riscos de segurança, já que todos os ativos podem ser descobertos, ter seu acesso controlado e seu ciclo de vida gerenciado através de um único catálogo.

Ao prover identidade, autorização e delegação de credenciais para ativos "não-Iceberg" de forma nativa, o Lakekeeper eleva esses datasets de meros arquivos em armazenamento para ativos governados. Isso significa maior conformidade, rastreabilidade e a capacidade de integrar novos formatos de dados no futuro sem a necessidade de reestruturar a arquitetura de governança, mantendo a flexibilidade e a extensibilidade do Lakehouse.

Repositório oficial: lakekeeper/lakekeeper