Zerobus Ingest da Databricks entra em produção: streaming serverless que ingere 1 PB em menos de 24 horas

O Zerobus Ingest não é só mais um conector: é a primeira camada de ingestão *serverless nativa* do Lakehouse que elimina o message broker como componente obrigatório, e isso muda a arquitetura de streaming em produção. Em vez de forçar times a operar clusters Kafka, gerenciar offsets, lidar com backpressure ou sincronizar schemas entre producers e consumers, o Zerobus aceita dados diretamente via gRPC ou REST (beta), ordena os eventos no stream com garantia de monotonicidade e escreve zero-copy em Delta tables já sob governança do Unity Catalog. O parser protobuf em Rust, com descritores dinâmicos, dispensa compilação prévia de .proto, essencial para pipelines de IoT ou telemetria onde o schema evolui diariamente.

A latência de 5 segundos até a consulta é possível porque o serviço usa um write-ahead log otimizado para escrita sequencial em nuvem, sem intermediários. Isso alinha-se diretamente com o Real-Time Mode (RTM) do Spark Structured Streaming, lançado em março de 2026: agora você tem uma cadeia completa, ingestão com garantia de ordem e baixa latência, processamento com milissegundos no RTM e entrega governada em Delta, tudo dentro do mesmo plano de controle, sem trocas de formato, sem cópias desnecessárias e sem silos de metadados.

Em abril, o Databricks ainda dependia de Kafka ou Flink para ingestão pesada em tempo real. Hoje, o Zerobus Ingest entrega throughput de 12 GB/s em uma única tabela Delta, número inédito para um serviço serverless. O que era rumor em maio (sobre 'ingestão sem brokers') virou GA com SLA explícito: 5 s de latência, 12 milhões de linhas/s, suporte a milhares de writers concorrentes. Também mudou a abordagem de schema: antes, Iceberg v3 exigia definição estática para VARIANT; agora, o Zerobus lida com protobuf dinâmico *sem compilação*, fechando a lacuna entre flexibilidade de dados semiestruturados e performance de colunas fortemente tipadas.

Time-to-insight cai de horas para segundos, mas o ganho real está na redução de complexidade operacional. Equipes não precisam mais manter três stacks distintas: Kafka para ingestão, Flink/Spark para processamento e Delta para armazenamento. Com Zerobus + RTM + Lakebase branching, você constrói um pipeline de dados em tempo real com menos de 20 linhas de código Python, testável em ambiente isolado via branch de banco de dados (lançado em 1º/06) e auditável com lineage granular desde o primeiro byte. Isso reduz o custo total de propriedade de streaming em até 40%, segundo benchmarks internos da Databricks citados em eventos recentes da Data+AI Summit 2026.