DuckDB Turbina Leitura de Dados no S3 com I/O Assíncrono

A implementação de I/O assíncrono no DuckDB v2.0 é um passo importante para otimizar a leitura de arquivos remotos, especialmente em cenários de data lake no S3. O segredo está na segregação de tarefas em dois pools de threads: um para o trabalho pesado de processamento (REGULAR) e outro dedicado a operações de I/O bloqueantes (ASYNC). Enquanto as threads REGULAR decodificam e processam dados, as threads ASYNC estão ocupadas buscando mais dados de forma antecipada, garantindo que o processador nunca fique esperando. Esse modelo evita o gargalo de I/O que costuma ocorrer quando operações síncronas bloqueiam as threads principais.

Além da divisão de threads, o DuckDB adota uma estratégia de pré-leitura (read-ahead) que programa a busca de dados antes que sejam efetivamente necessários. Isso mantém um fluxo contínuo de informações, mascarando a latência de armazenamento remoto. Para evitar estouro de memória, um sistema de governança de memória monitora a quantidade de dados pré-carregados, ajustando a profundidade da pré-leitura conforme a disponibilidade de recursos. No DuckDB, um