Halodoc constrói framework de data profiling nativo no Airflow para escalar governança de dados

A Halodoc desenvolveu um framework de data profiling integrado ao Airflow para eliminar processos manuais de SQL repetitivos em centenas de tabelas. A solução cobre profiling em nível de coluna, inteligência de joins e análise de tabelas de origem, com processamento distribuído no Redshift ou Athena. Para escalar com segurança, cada tabela é isolada em pods do Kubernetes com escritas idempotentes via run_id. O resultado é uma interface de autoatendimento que entrega visibilidade sobre qualidade dos dados e relacionamentos entre tabelas.