DuckDB no ECS Fargate Supera Apache Spark em Processamento de JSON no S3

A disputa entre o DuckDB e o Apache Spark por cargas de trabalho analíticas ganhou um novo capítulo. O benchmark mais recente, que comparou o processamento de mil arquivos JSON no S3, colocou o DuckDB, rodando no ECS Fargate, muito à frente do Spark no EMR Serverless. A performance do DuckDB foi 3,4 vezes mais rápida, além de ser mais barata.

O ponto técnico chave aqui é como cada motor lida com a leitura e o processamento dos dados. O DuckDB carrega os dados JSON para uma base de dados em memória de uma só vez, minimizando as idas e vindas ao S3. Depois disso, ele executa as operações de flatten e agregação internamente. Já o Spark, embora tenha otimizações no plano lógico, pode acabar fazendo múltiplas requisições ao S3 para os mesmos dados, especialmente em cenários com arquivos de tamanhos variados, como os usados neste benchmark (onde alguns arquivos tinham mais de 20MB, criando desequilíbrio no paralelismo).

Este benchmark mostra, na prática, o resultado de desenvolvimentos recentes no DuckDB. A reportagem "DuckDB Turbina Leitura de Dados no S3 com I/O Assíncrono", publicada em 3 de agosto de 2026, detalhou como a implementação de I/O assíncrono no DuckDB otimizou a leitura de arquivos Parquet e CSV no S3. O estudo atual demonstra que essa melhoria, ou uma arquitetura semelhante, está impactando positivamente também a leitura de JSON, contribuindo diretamente para a performance superior em ambientes de object storage.

Para engenheiros de dados e arquitetos de nuvem, esses resultados são um convite para reavaliar a escolha de ferramentas para tarefas comuns. Se o processamento de grandes volumes de JSON no S3 é uma constante, o DuckDB no ECS Fargate emerge como uma alternativa mais eficiente e econômica que o Apache Spark. Isso se alinha com o que vimos na matéria "Arcesium migra para DuckDB e corta custos de consulta pela metade", de 3 de julho de 2026, que já apontava uma tendência de redução de custos com o uso do DuckDB.

A facilidade de uso do DuckDB, que permite testes e desenvolvimento local, também se destaca frente à complexidade de gerenciar ambientes Spark. É uma ferramenta que se consolida cada vez mais como uma opção robusta para ETL e análise, como mostrado na matéria "DuckDB e Iceberg: ETL Completo Sem Spark Abre Novas Possibilidades para Engenheiros de Dados", de 23 de julho de 2026, ampliando o leque de soluções sem a necessidade de um cluster Spark completo.