Halodoc Otimiza Apache Airflow 3.0 com Data Assets e Reduz Consumo de Recursos em Mais de 30%

A Halodoc enfrentava um gargalo comum em plataformas de dados com Apache Airflow. A orquestração de suas 160 DAGs, especialmente em janelas de pico, sofria com sensores de polling que prendiam workers e operações síncronas de ingestão no Redshift via psycopg. Isso causava sobrecarga do scheduler, autoescalonamento excessivo do Amazon MWAA e erros de bloqueio de tabela, indicando uma infraestrutura que operava perto do limite.

A solução veio com a migração para o Airflow 3.x, aproveitando os Data Assets e operadores deferíveis (deferrable operators). Data Assets permitem que jobs downstream sejam acionados diretamente por eventos de atualização de dados upstream, eliminando a necessidade de sensores de polling que consomem recursos. Já os operadores deferíveis, como o RedshiftDataOperator, liberam o slot do worker enquanto a operação externa (como uma query longa no Redshift) é executada, retomando-a apenas quando finalizada. Essa estratégia resolve o problema de workers ociosos que apenas esperam por I/O.

A abordagem da Halodoc mostra a materialização de funcionalidades que o CEVIU já explorava. Em 12 de março de 2026, nossa cobertura sobre "Dimensionando com Airflow 3.2" detalhava como o suporte assíncrono nativo do PythonOperator e os operadores deferíveis revolucionariam a gestão de recursos. A Halodoc, ao migrar para o Airflow 3.x, validou essa promessa, usando Data Assets para gerenciar dependências e o RedshiftDataOperator para deferir as cargas mais pesadas. Isso mostra a evolução de uma capacidade teórica para uma implementação prática com ganhos concretos.

Além disso, o caminho da Halodoc de Airflow 2.10 para 3.2.1 destaca a evolução da própria plataforma. A equipe encontrou um bug de N+1 queries na versão 3.0.6, que sobrecarregava o banco de metadados do Airflow. A atualização para 3.2.1, conforme mencionado no artigo-fonte, resolveu essa questão, demonstrando a rápida correção e melhoria contínua dentro da mesma major version do Airflow, que se torna cada vez mais estável e eficiente para orquestração em escala.

Essa otimização é um marco importante para qualquer equipe de dados que lida com orquestração em escala. Reduzir o consumo de CPU de workers em 70% e a memória em 37% (em suas 160 DAGs) não é só economia de custo. Significa mais estabilidade, menos erros de bloqueio de tabela no Redshift e uma plataforma de dados mais responsiva. A capacidade de lidar com picos de carga sem autoescalonamento excessivo do MWAA ou filas de tarefas é crucial para a entrega de dados em tempo hábil e a confiabilidade de análises de negócios.

Para a Halodoc, que já investe pesado no ecossistema Airflow, como mostrado em nossa cobertura de 1 de junho de 2026 sobre seu framework de data profiling, essa melhoria valida a aposta na plataforma. A migração para funcionalidades mais modernas do Airflow 3.x permite que a engenharia de dados se concentre em valor de negócio, em vez de apagar incêndios de infraestrutura.