Google Cloud aprimora Apache Spark com VMs flexíveis para maior resiliência
Aprofundamento CEVIU
Aprofundamento
A demanda crescente por capacidade computacional, impulsionada pelo desenvolvimento de IA, pressiona a infraestrutura de nuvem. Isso afeta diretamente pipelines de dados que dependem do Apache Spark. As VMs flexíveis do Google Managed Service para Apache Spark surgem como solução para evitar a falta de capacidade (stockouts).
Em vez de fixar um cluster em um tipo de instância, as VMs flexíveis permitem definir uma lista ordenada de famílias de máquinas aceitáveis para nós master e worker. Isso inclui a combinação de diferentes gerações, como as famílias Gen2 (N2, N2D) com as Gen4 (N4, C4), mencionadas pelo CEVIU em 19 de junho de 2026, por seus ganhos de throughput e IOPS em GKE. O suporte a armazenamento misto, como o Hyperdisk Balanced, também amplia os pools de capacidade disponíveis, garantindo que o provisionamento se adapte dinamicamente.
O que mudou
A notícia atual do Google Cloud formaliza e aprimora um conceito que já demonstrava valor prático. Em 9 de setembro de 2026, o CEVIU noticiou que o Yahoo já empregava VMs flexíveis no serviço gerenciado para Apache Spark do Google Cloud, com sucesso na redução de falhas de provisionamento. Isso mostra que a estratégia passou de um uso validado por um cliente de grande porte para um recurso com diretrizes mais detalhadas e recomendações de arquitetura para um público mais amplo. O que era uma solução comprovada agora se torna uma funcionalidade amplamente disponível e com novas orientações para maximizar sua eficácia.
Por que isso importa
Para engenheiros de plataforma e equipes de DevOps, a adoção de VMs flexíveis no Apache Spark é um passo crucial na construção de pipelines de dados mais resilientes. Isso garante a continuidade operacional, minimizando atrasos na criação de clusters e evitando falhas de execução que impactam SLAs críticos. A combinação com autoscaling, roteamento AutoZone e fallbacks regionais reforça a robustez. Além disso, a flexibilidade para usar Committed Use Discounts (CUDs) em múltiplas famílias de VMs permite otimização de custos sem sacrificar a disponibilidade.
Linha do tempo
CEVIU publica sobre ganhos práticos com VMs N4 e Hyperdisk no GKE
CEVIU noticia Yahoo usando VMs flexíveis no Apache Spark do Google Cloud
Google Cloud aprimora Apache Spark com VMs flexíveis para resiliência
Perguntas frequentes
O que são VMs flexíveis no Google Cloud Spark?
VMs flexíveis permitem que clusters Apache Spark solicitem recursos de computação de maneira dinâmica. Em vez de uma única família de máquinas, você pode especificar uma lista ranqueada de tipos de VM e armazenamento aceitáveis, aumentando as chances de provisionamento bem-sucedido, mesmo em momentos de alta demanda.
Como as VMs flexíveis ajudam a evitar a falta de capacidade (stockouts)?
Elas permitem que o sistema tente provisionar máquinas de diferentes famílias e tipos de armazenamento, seguindo uma ordem de preferência. Se a primeira opção não estiver disponível, o sistema automaticamente tenta a próxima na lista, mitigando o risco de escassez de recursos e garantindo a inicialização dos clusters.
Qual a importância da "configuração ranqueada"?
A configuração ranqueada é essencial para definir uma hierarquia de opções de VMs aceitáveis. Você lista suas famílias de máquinas preferidas em ordem de prioridade. O Managed Spark tenta provisionar recursos da lista, começando pela mais alta prioridade, sem necessidade de intervenção manual em caso de indisponibilidade.
As VMs flexíveis têm impacto nos custos em nuvem?
Sim. Elas incentivam o uso de Committed Use Discounts (CUDs) flexíveis, que aplicam economias em múltiplas famílias de VMs e regiões. Isso otimiza os custos, pois você não fica preso a CUDs específicos para apenas uma família de máquinas, alinhando as economias à maior flexibilidade de provisionamento.
Fontes
- cloud.google.comfonte original
- Categoria
- CEVIU DevOps
- Publicado
- 28 de setembro de 2026
- Editoria
- CEVIU DevOps