Data-to-Production: Conectando Apache Iceberg a Microsserviços em Produção

A Wix Engineering desenvolveu uma plataforma self-service Data-to-Production para preencher a lacuna entre seu data warehouse Apache Iceberg em escala de petabytes no S3 e os microsserviços em produção. ️ A plataforma é capaz de ingerir bilhões de linhas no ClickHouse por meio de pipelines dinâmicos e confiáveis, orquestrados por Airflow, utilizando estratégias como overwrites atômicos, upserts com ReplacingMergeTree e substituições de partição. A governança dos dados é assegurada por um console de metadados e revisões human-in-the-loop.