Como o Data 360 da Salesforce processa um quatrilhão de registros mensais com arquitetura adaptativa em Spark

O Data 360 da Salesforce não é só um CDP: é a camada de dados operacional que sustenta toda a estratégia de IA autônoma da empresa, incluindo os agentes Agentforce, que já geraram mais de US$ 100 milhões em pipeline. A arquitetura de segmentação descrita na notícia atual é o coração desse sistema: ela transforma milhares de tabelas heterogêneas (4 milhões de tabelas Iceberg, 50 PB de dados) em públicos acionáveis em tempo real, sem impor esquemas rígidos. Isso só é viável porque o motor roda sobre uma stack lakehouse com Iceberg como abstração central, Parquet em S3 e execução híbrida via Spark, Hyper e Trino, não um data warehouse tradicional.

A confiabilidade de 99,95% não vem de overprovisioning, mas de orquestração inteligente: estimativa dinâmica de carga evita falhas por skew ou explosão cartesiana; retentativas orientadas por SLA garantem que um segmento para campanha de email não fique preso em retry cego; e a telemetria em produção alimenta sistemas automatizados de diagnóstico, essencial quando 100 mil jobs Spark rodam diariamente e até um erro de 0,05% gera milhares de alertas. Essa engenharia é decisiva para governança: sem ela, a promessa de 'dados unificados para visão 360°' vira apenas mais um silo com custos de manutenção crescentes.

Em abril de 2026, o Data 360 passou de Query Federation para Iceberg File Federation, o que permitiu escalar o Zero Copy de 1 trilhão para 120 trilhões de linhas mensais. Agora, a nova arquitetura de segmentação processa um quatrilhão de registros por mês com a mesma base: grafos de relacionamento executados em runtime, não em compile-time. Antes, a limitação estava no planejamento de consultas, com ambientes de 6.000 tabelas, o query planner avaliava bilhões de caminhos. Hoje, o phased planning reduz isso a estágios gerenciáveis, mantendo SLAs mesmo com cargas variáveis de 10 mil a 100 bilhões de registros por job. O que era rumor em 2025 (‘execução adaptativa em Spark’) agora é métrica operacional: alocação dinâmica de recursos, rate limiting entre clientes e telemetria granular por workload são padrão.

Para empresas migrando para nuvem híbrida ou multi-cloud, essa arquitetura define o custo real de adoção de IA: não é o preço da licença, mas o custo oculto de governança, qualidade de dados e latência entre fonte e ação. Um cliente que usa Snowflake + Salesforce + Databricks não precisa escolher onde centralizar dados, o Zero Copy File Federation faz a ponte sem cópia, com custo 28,5x menor que ETL tradicional. Mas isso só funciona se a camada de segmentação for capaz de interpretar schemas arbitrários em runtime, sem depender de modelagem prévia. Para TI corporativa, isso muda o jogo de compliance: dados sensíveis permanecem na origem, mas ainda alimentam fluxos de personalização em tempo real, atendendo a LGPD e CCPA sem sacrificar agilidade.