WHOOP Inova com CDC Self-Service para Replicação de Dados Postgres

A WHOOP, gigante de wearables, demonstra com sua nova solução de CDC self-service um caminho maduro para a replicação de dados em larga escala. A engenharia por trás do sistema foca na separação explícita entre a captura de eventos de mudança brutos e a materialização de tabelas, um conceito que o CEVIU News já explorou em outras implementações. Ao desacoplar o streaming dos upserts, a WHOOP consegue otimizar os custos computacionais e a performance, um desafio comum em sistemas de dados complexos que a Grab também enfrentou ao desenvolver sua plataforma unificada de ingestão de dados com Apache Flink, conforme noticiado em 25 de maio de 2026.

A arquitetura se baseia em camadas Bronze e Silver. A camada Bronze captura os eventos de CDC do Debezium, usando publicações do PostgreSQL e Kafka, e os serializa como Avro com o AWS Glue Schema Registry. Esta camada é append-only, garantindo escritas baratas e eficientes. A camada Silver, por sua vez, é onde as réplicas reais das tabelas Postgres vivem no Iceberg, com upserts batched a cada quatro horas. Essa distinção permite que consumidores com diferentes necessidades de latência escolham entre os dados brutos de baixa latência (Bronze) ou a visão materializada (Silver). A automatização da evolução do esquema de dados e a transferência da propriedade operacional para as equipes de aplicação reforçam o conceito de plataformas self-service, ecoando a estratégia da Wix Engineering ao conectar o Apache Iceberg a microsserviços em produção, notícia de 19 de fevereiro de 2026.

Antes, a WHOOP usava um pipeline Debezium para Kafka e um job Spark Structured Streaming por tabela para fazer upserts em Iceberg a cada 30 minutos. Este modelo gerava altos custos, exigia intervenção manual para mudanças de esquema e falhava na observabilidade. A grande mudança está na separação das responsabilidades: a nova arquitetura divide a ingestão em duas camadas, Bronze para eventos brutos e Silver para réplicas materializadas, rodando upserts de forma mais parcimoniosa. Essa abordagem reduziu custos e automatizou processos que antes demandavam tickets e coordenação, como a evolução do esquema de dados, que agora propaga alterações do Postgres para o Iceberg sem intervenção humana.

A solução da WHOOP é um estudo de caso valioso sobre como otimizar pipelines de CDC em grande escala. A empresa mostra que é possível ter agilidade e controle sem abrir mão da eficiência. Ao alinhar a responsabilidade operacional com as equipes de origem dos dados e automatizar processos como a evolução do esquema, a WHOOP não apenas reduziu custos operacionais, mas também acelerou a disponibilização de dados frescos para análise e microsserviços. Esta é uma lição importante para qualquer empresa que lida com grandes volumes de dados transacionais, fornecendo um modelo para arquiteturas de dados mais robustas e escaláveis.