Salesforce Otimiza Apache Spark e Reduz Custos de Compute em 31%

A Salesforce enfrentava um desafio comum em infraestruturas de dados de larga escala: a presença de executores Apache Spark ociosos, que, em alguns casos, permaneciam inativos por mais de 90% do tempo. Para combater esse desperdício de recursos, a equipe de engenharia da empresa implementou uma estratégia baseada no uso real, coletando telemetria detalhada.

O processo envolveu o uso do Data Processing Controller (DPC), um gateway comum para submissões Spark, para injetar um plugin DataFlint Spark de código aberto. Este plugin, por sua vez, utilizava listeners do Spark para coletar dados de execução, que eram então exportados via Kafka para um lakehouse central baseado em Iceberg. A análise desses dados era feita em uma camada analítica curada chamada Silver, utilizando Trino e uma ferramenta de perfilamento agentiva que gerava SQL a partir de perguntas em linguagem natural.

A abordagem da Salesforce para otimizar o Apache Spark é um exemplo prático das "Lições de Casos Reais" que o CEVIU News publicou em 15 de setembro de 2026, sobre otimização de custos e performance no Spark. Enquanto aquele artigo abordava oportunidades gerais de melhoria, a Salesforce demonstra como essas lições são aplicadas em um cenário real, com 8 milhões de jobs diários. A empresa transformou a identificação de executores ociosos em uma metodologia concreta para redução de custos.

Além disso, o foco em otimização de recursos e combate ao desperdício é um tema recorrente. Anteriormente, em 19 de fevereiro de 2026, o CEVIU News cobriu como o Pinterest reduzia drasticamente erros de Out-of-Memory no Spark com a funcionalidade Auto Memory Retries, mostrando diferentes frentes de otimização contínua da mesma tecnologia.

A redução de 31% nos custos semanais de compute pela Salesforce, sem impactar negativamente o tempo de execução, a taxa de falhas ou o número de reprocessamentos, prova que a otimização de recursos em plataformas de dados é crucial para a sustentabilidade e eficiência operacional. Em ambientes de nuvem, onde os custos de processamento são diretamente ligados ao uso, gerenciar a capacidade de forma inteligente se torna um diferencial competitivo.

Este resultado reforça uma tendência observada em grandes empresas de tecnologia. O CEVIU News já havia noticiado, em 3 de agosto de 2026, a Halodoc otimizando o Apache Airflow com Data Assets, e, em 24 de agosto de 2026, a Netflix migrando jobs Flink para o Apache Flink Autoscaler, ambas com ganhos significativos em custos e desempenho. Isso mostra a importância de investir em governança e observabilidade para a gestão de custos em pipelines de dados.