Grab Impulsiona Data Lake com Apache Iceberg: Ganhos em Velocidade e Custos

A Grab migrou de uma arquitetura Data Lake baseada em Hive Parquet, que apresentava gargalos crescentes com o volume de petabytes de dados. Problemas como latência do Hive Metastore, o "problema de arquivos pequenos" gerando custos altos de API no S3 e sobrecarga operacional com registro manual de partições, eram constantes. Além disso, a desconexão entre o catálogo e o armazenamento levava a dados inconsistentes, algo que a matéria "Por que trocamos o data lake estilo Hive pelo Apache Iceberg", de 18 de junho de 2026, já detalhava como desafios comuns em sistemas legados.

A adoção do Apache Iceberg endereça esses pontos ao oferecer um formato de tabela com recursos de gerenciamento de metadados mais eficientes. Isso permite à Grab otimizar a organização de arquivos, reduzir a fragmentação e melhorar o desempenho das consultas. A arquitetura de Iceberg trata os dados como um "primitivo de primeira classe", garantindo consistência e performance em suas plataformas de transformação.

A mudança da Grab para o Apache Iceberg representa uma concretização das discussões sobre a superação das limitações do Hive Parquet. Artigos anteriores, como "Por que trocamos o data lake estilo Hive pelo Apache Iceberg", de 18 de junho de 2026, teorizavam os benefícios de migrar para Iceberg para resolver problemas de escalabilidade e custo. Agora, a Grab não só confirma esses ganhos, como os quantifica de forma impressionante: 10x mais velocidade em consultas, 95% de redução nos custos de API do S3 e 50% de economia computacional em pipelines de ML. O projeto de código-fonte aberto UnifiedSparkCatalog também mostra um avanço na interoperabilidade, algo crucial dado o surgimento contínuo de novas versões e recursos, como o tipo Variant do Iceberg v3, discutido em 11 de julho de 2026.

A decisão da Grab de adotar o Apache Iceberg é um forte indicativo da maturidade e eficácia deste formato de tabela para cenários de Big Data. Os resultados alcançados pela empresa (velocidade, redução de custos e otimização de ML) solidificam a posição do Iceberg como pilar para arquiteturas Lakehouse. Isso reforça uma tendência observada em outras empresas, como a Arcesium, que também migrou para o Iceberg, conforme noticiado em 14 de julho de 2026. A contribuição da Grab com o UnifiedSparkCatalog, que unifica o acesso a diversos formatos (Iceberg, Delta, Hudi, Hive) no Spark, é um passo importante para simplificar o desenvolvimento e a gestão em ambientes de dados heterogêneos.