Por que trocamos o data lake estilo Hive pelo Apache Iceberg

A migração descrita na notícia não é só uma troca de formato, é um salto arquitetural. Enquanto o antigo data lake estilo Hive dependia de convenções de diretório, partições em strings e metadados frágeis no Glue Catalog (que não garantem atomicidade nem evolução segura de schema), o Iceberg impõe uma camada de transações ACID sobre o S3. Isso significa que cada commit é atômico, cada alteração de schema é versionada sem reescrita de dados e cada consulta pode navegar entre snapshots com time travel confiável, tudo sem depender de motores específicos.

O suporte expandido da AWS ao Iceberg inclui agora o Amazon S3 Tables, serviço gerenciado que automatiza compactação, expiração de snapshots e otimização de metadados. Relatórios indicam até 10x mais transações por segundo comparado a implantações auto-gerenciadas. E a integração com Iceberg v3, disponível desde novembro de 2025, traz Deletion Vectors (bitmap eficiente para deletes) e Row Lineage, funcionalidades críticas para pipelines de qualidade e governança que o Hive simplesmente não oferece.

Em abril de 2026, o CEVIU destacou o Iceberg v3 em preview no Databricks, ainda experimental, sem suporte completo em produção na AWS. Em maio, a versão 1.11.0 entrou em GA com registerView, criptografia de tabela via KMS e planejamento de scans no lado do catálogo REST. Agora, em junho de 2026, a equipe migrou usando exatamente essa versão estável, aproveitando recursos que antes eram apenas promessas: time travel nativo com controle de retenção de snapshots, pruning baseado em estatísticas reais (não em heurísticas de partição), e evolução de schema com backward/forward compatibility real, sem quebrar queries existentes.

Isso muda a forma como equipes constroem pipelines de dados. Com Iceberg, você não precisa mais escolher entre desempenho e governança: o pruning inteligente reduz custos de leitura em consultas analíticas, enquanto os snapshots e lineage permitem rastrear impacto de mudanças em relatórios críticos. A interoperabilidade com Spark, Trino, Flink e agora até BigQuery e Snowflake (via Iceberg v3) elimina silos de ferramentas. E com o Iceberg C++ 0.3.0 e Go 0.6.0 lançados em junho, a plataforma deixa de ser só uma camada para SQL e passa a ser um runtime de dados para aplicações de ML e IA que exigem acesso direto, seguro e consistente aos dados brutos.