Construindo Data Pipelines de Auto-Cura na Halodoc

A Halodoc implementou camadas de auto-cura direcionadas para mitigar falhas recorrentes em seus pipelines de dados. As estratégias incluem reinícios automáticos de CDC com retrocesso seguro de checkpoints, verificações de consistência entre sistemas de origem e data lake, mini-batching adaptado ao tamanho dos dados, escalonamento de memória de retry para Spark, limpeza de locks em data warehouses usando watermarks de query e backfills com reconhecimento de dependência.

O design pattern adotado segue um fluxo claro: primeiro alerta, depois valida a elegibilidade para recuperação, executa a recuperação de forma segura e, por fim, mede o impacto da intervenção. Os resultados foram significativos, reduzindo o tempo de recuperação de CDC de mais de 45 minutos para menos de 5 minutos e simplificando a configuração de backfills de 4-8 horas para menos de 15 minutos.