AWS Glue 6.0 Chega com 30% de Redução de Custo e Suporte ao Apache Iceberg v3

O AWS Glue 6.0 chega como um salto para a engenharia de dados e DevOps. A nova versão incorpora o Apache Spark 4.1, Python 3.13 e Scala 2.13, oferecendo um runtime modernizado e mais veloz. Integrar essas tecnologias significa que os engenheiros podem esperar um processamento de dados mais eficiente, essencial para pipelines de ETL e data lakehouses. A redução de 30% nos custos otimiza orçamentos de infraestrutura, um ponto crítico para operações em larga escala.

O suporte completo ao Apache Iceberg v3, via Iceberg 1.11.0, é um divisor de águas. Ele habilita o tipo de dado VARIANT com suporte a shredding, facilitando o manuseio de dados semi-estruturados como JSON e logs sem a complexidade de esquemas fixos. Além disso, o Iceberg v3 traz tipos de dados para geometria e geografia, timestamps com precisão de nanossegundos e tratamento de tipos desconhecidos. As novas declarative pipelines do Spark 4.1 simplificam a autoria de ETL, e as UDFs/UDTFs Python Arrow-native melhoram o desempenho PySpark. Para casos de uso sem estado, há um modo de streaming em tempo real com latência na casa dos milissegundos.

A cobertura anterior do CEVIU News mostrou a evolução do Apache Iceberg e seus recursos. Em 20 de agosto de 2026, noticiamos que o Iceberg 0.3 Inova com Tipo Variant, e em 11 de julho de 2026, destacamos o Apache Iceberg v3 e o Tipo Variant como otimizador de análises de dados semi-estruturados. O que era uma especificação e uma capacidade promissora agora se tornou uma realidade totalmente integrada e gerenciada dentro do AWS Glue 6.0. Isso significa que as empresas podem, de fato, aproveitar o tipo VARIANT para dados semi-estruturados, como JSON e logs, sem complexidade de pré-processamento, algo que antes era discutido como uma possibilidade futura.

A redução de 30% nos custos também é uma evolução prática. Embora a CEVIU tenha noticiado em 13 de maio de 2026 sobre o Amazon Redshift RG com custo 30% menor por vCPU, essa otimização agora se estende diretamente ao serviço Glue. Para o Spark, a versão 4.1 no Glue 6.0 introduz recursos notáveis como declarative pipelines e UDFs Python Arrow-native. Mesmo com a notícia do Apache Spark 4.2 Chega com Inovações em 20 de julho de 2026, a presença do Spark 4.1 no Glue 6.0 representa um avanço significativo para as capacidades da plataforma, oferecendo performance e flexibilidade que não estavam disponíveis em versões anteriores do Glue.

Para equipes de DevOps e engenharia de plataformas, o AWS Glue 6.0 importa por várias razões. Primeiramente, a redução de custo de 30% é um alívio direto no orçamento, permitindo realocar recursos ou escalar operações de dados com mais eficiência. A capacidade de processar dados semi-estruturados de forma nativa e otimizada com o tipo VARIANT simplifica enormemente os pipelines de ETL, reduzindo o tempo de desenvolvimento e a manutenção de código complexo para parsing de JSON.

A modernização do runtime com Spark 4.1, Python 3.13 e Scala 2.13, junto com recursos como declarative pipelines e real-time streaming, eleva a performance e a agilidade. Isso permite construir sistemas de dados mais responsivos e resilientes, cruciais para aplicações que dependem de informações atualizadas. A robustez do Iceberg v3, por sua vez, fortalece a arquitetura de data lakehouse, garantindo maior governança de dados e suporte a cenários analíticos avançados, como GIS e dados de IoT de alta precisão. É um upgrade que melhora a operação e o valor estratégico dos dados.