Apache Arrow Flight: a infraestrutura de alta performance para mover dados em escala

O Apache Arrow Flight não é só mais um protocolo de transporte: é a camada de rede colunar que faltava na stack de dados moderna. Ele opera em cima do formato em memória do Arrow, mas com uma arquitetura RPC rigorosa baseada em gRPC e HTTP/2, o que elimina serializações desnecessárias e permite transferências zero-copy entre processos, máquinas e até clusters. Diferentemente de APIs REST genéricas ou drivers JDBC/ODBC tradicionais, o Flight lida nativamente com Arrow RecordBatches, fluxos contínuos de dados estruturados em colunas, sem conversão para linhas ou formatos intermediários como JSON ou Parquet no trânsito. Isso explica os ganhos reais de desempenho: até 6000 MB/s em leitura, 20–30x mais rápido que ODBC em ambientes como Dremio, e centenas de vezes mais eficiente que PyMySQL em consultas analíticas no Apache Doris 2.1.

Uma peça-chave dessa evolução é o Arrow Flight SQL, lançado como padrão estável na versão 24.0.0 (abril/2026). Ele não tenta replicar JDBC, mas substitui sua lógica linha-a-linha por operações em massa sobre batches colunares, com suporte nativo a comandos SQL, metadados de esquema e execução paralela de consultas. Já há drivers JDBC oficiais para Flight SQL, além de integrações ativas em Spark, DuckDB, InfluxDB e Snowflake, mostrando que o ecossistema está migrando da interoperabilidade *via conversão* para a interoperabilidade *via formato compartilhado em memória*.

A cobertura anterior de 20 de maio destacou o Arrow como formato universal em memória, mas ainda focada em trocas *dentro do processo* (ex.: Pandas → Spark). Agora, com o Flight, essa universalidade se estende para o *espaço de rede*: não basta ter o mesmo formato na memória, é preciso movê-lo eficientemente entre serviços. O salto técnico real está na padronização do transporte, antes, cada ferramenta implementava seu próprio canal (HTTP, sockets, custom RPC); agora, Flight fornece uma API unificada para listagem de datasets, execução de consultas e streaming de resultados, tudo com garantias de tipo e esquema via Arrow Schema. Isso torna viável construir serviços de dados como 'APIs de DataFrame' ou gateways de acesso federado sem custo de cópia ou desserialização.

Para engenheiros de dados, isso muda a forma como projetam pipelines distribuídos: não há mais necessidade de escolher entre 'performance' (usando formatos binários proprietários) e 'interoperabilidade' (usando JSON ou CSV). Com Flight, você obtém as duas coisas ao mesmo tempo, e com baixa latência. Para equipes de analytics, significa que dashboards podem consumir dados diretamente de bancos colunares (como Doris ou Dremio) sem intermediários, reduzindo o tempo entre query e visualização. E para plataformas de ML, como a do Pinterest descrita em 22 de maio, o Flight permite sincronizar rapidamente features de sequência do usuário entre sistemas de lote e tempo real, mantendo consistência de esquema sem pipelines de transformação adicionais.