Apache Iceberg 1.12.0 Chega com Inovações e Desafios de Compatibilidade

A recém-lançada versão 1.12.0 do Apache Iceberg leva a plataforma a um novo patamar, consolidando recursos da especificação v3 que antes estavam em fase de preview ou com suporte limitado. Agora, funcionalidades como o tipo Variant, que permite gerenciar dados semi-estruturados com mais eficiência, e os tipos geoespaciais, ganham suporte prático em diversos motores. A versão também fortalece a robustez do sistema com melhorias na linhagem de linha, vetores de exclusão para operações de DML mais rápidas e metadados criptografados, elevando a segurança e a auditoria dos dados.

No lado da infraestrutura, o 1.12.0 expande as operações do catálogo REST, oferecendo mais controle sobre o ciclo de vida da tabela, incluindo a nova função de catalog-side purge. É crucial notar que esta versão remove o suporte para Spark 3.4 e Flink 2.0, além de descontinuar APIs legadas e o recurso de "position deletes with row data". Essa quebra de compatibilidade exige um planejamento rigoroso e testes exaustivos antes de qualquer implementação em produção, para garantir a integridade dos pipelines existentes.

Em nossa cobertura anterior, destacamos o surgimento de recursos como o tipo Variant na versão 0.3 do Apache Iceberg em agosto de 2026 e o suporte em public preview para Iceberg v3 no Databricks em abril de 2026, com foco em Row Lineage e Deletion Vectors. A versão 1.12.0 transforma esses anúncios e previews em funcionalidades maduras, com suporte prático em motores como Spark, Flink e Kafka Connect. Antes, o Variant era uma promessa; agora, há leituras vetorizadas Parquet e escrita via Avro no Flink.

Os Deletion Vectors, antes apresentados como aceleradores de DML, agora recebem melhorias críticas de corretude e manuseio mais seguro, resolvendo falhas de consistência e expondo metadados criptografados. O protocolo REST também evoluiu, expandindo o controle sobre o catálogo para além das visualizações e do registro de tabelas, com operações como desregistro e delegação de purga ao serviço REST. Por outro lado, a eliminação do suporte a Spark 3.4 e Flink 2.0, e a descontinuação de "position deletes with row data", representam mudanças de compatibilidade esperadas, mas que exigem a migração de sistemas legados.

Para os profissionais de dados, a versão 1.12.0 do Apache Iceberg é um marco importante para construir arquiteturas lakehouse mais robustas e eficientes. Aprimoramentos em tipos como Variant e geoespaciais abrem caminho para lidar com dados mais complexos sem sacrificar performance. As melhorias em linhagem de linha e vetores de exclusão impactam diretamente a governança, a auditoria e a performance das operações de DML, cruciais para pipelines de dados em tempo real.

A expansão do catálogo REST centraliza a gestão, facilitando a automação e a segurança, mas também introduz desafios de compatibilidade que exigem atenção redobrada. No geral, essa atualização permite que as equipes construam sistemas de dados mais escaláveis, confiáveis e seguros, com a ressalva de uma migração bem planejada.