O benchmark open-source que mede custo-performance em Data Warehouses na nuvem

O CostBench não é só mais um benchmark de velocidade: ele traduz em números o que equipes de dados já sentem na prática, que pagar mais não garante melhor experiência analítica. Ele mede custo-performance com base nos preços reais de consumo por segundo (ou por byte processado) de cada provedor, aplicando 43 queries reais sobre datasets escaláveis de 1 bi a 100 bi de linhas. Diferente de testes sintéticos como TPC-DS, ele usa workloads derivados de produção e modela cobrança exata: BigQuery On-Demand, Redshift Serverless com auto-scaling, Snowflake com credits, Databricks SQL Serverless com DBU, tudo calculado no momento da execução. A ClickHouse Cloud lidera nos cenários de escala máxima, mas o dado crítico está na dispersão: BigQuery On-Demand fica 1.350x pior que o ClickHouse em custo-performance para consultas pesadas, não por lentidão absoluta, mas porque seu modelo de precificação penaliza fortemente operações de leitura em grandes volumes.

Isso conecta diretamente com o conceito de 'inteligência por dólar' lançado pela Microsoft dias antes, uma mudança de paradigma que começa a migrar do mundo de IA para o de infraestrutura de dados. Enquanto ferramentas como QueryFlux roteiam consultas entre engines para otimizar latência, o CostBench questiona se essa otimização vale o custo real do backend escolhido. E ao contrário do Dimster (para Kafka) ou do EVA-Bench Data (para agentes), o CostBench é o primeiro benchmark open-source a tratar o custo como variável primária, não como fator secundário ou pós-processamento.

A ClickHouse já havia publicado benchmarks comparativos internos em 2025, mas eram fechados, com metodologia não auditável e foco em throughput bruto. O CostBench é a primeira versão pública, com código aberto, carga de trabalho documentada, scripts de execução e resultados brutos em JSON, um salto de transparência que transforma comparações de mercado em exercício técnico, não de marketing. Também é a primeira vez que a empresa incorpora modelos de precificação dinâmica dos concorrentes (como o ajuste automático de warehouse size no Snowflake ou o burst mode do Redshift Serverless) nas métricas, algo ausente nas avaliações anteriores da CEVIU sobre benchmarks de dados.

Time de dados agora pode justificar decisões de stack com dados objetivos: não mais 'esse DW é rápido', mas 'esse DW entrega 87% mais consultas por US$100 em cargas de 10 bi de linhas'. Isso muda negociações com finanças, revisão de contratos de nuvem e até arquitetura de pipelines, afinal, se ingestão barata em um sistema gera custo alto em consulta, o trade-off precisa ser calculado. Além disso, o CostBench pressiona os fornecedores a tornarem seus modelos de precificação mais transparentes, já que o benchmark expõe discrepâncias entre performance declarada e custo real por operação.