Novo backend ClickHouse do Jaeger atinge compressão de 8,6 vezes com 10 milhões de spans

O jaeger v2.18.0 trouxe uma mudança estrutural forte para times de observabilidade: o suporte nativo ao ClickHouse como backend de armazenamento. Conforme detalham os mantenedores no artigo original do CNCF, a escolha não é aleatória. Diferente de bancos orientados a linhas, o ClickHouse é um OLAP colunar que lida muito bem com a redundância inerente a dados de telemetria. Nomes de serviços, operações e tags se repetem milhões de vezes, e o armazenamento colunar comprime isso de forma agressiva.

Para chegar a uma taxa de compressão de 8,6 vezes, a equipe precisou redesenhar o schema. A chave primária foi definida para otimizar buscas por serviço, operação e tempo, em vez de ordenar apenas pelo ID do trace. A recuperação de traces completos usa filtros bloom e views materializadas para compensar a perda de performance. O modelo de dados do OpenTelemetry também exigiu o uso de colunas aninhadas para lidar com atributos tipados em múltiplos níveis, como resource, scope e span.

Para engenharia de plataformas, armazenar traces sempre foi um dilema entre custo e performance. Backends como Cassandra e Elasticsearch exigem indexação pesada e escalam de forma complexa. O novo backend reduz o volume em disco de quase 6 GiB para 722 MiB em um teste de 10 milhões de spans. Isso impacta diretamente a fatura de infraestrutura em nuvem.

O ganho vai além do armazenamento barato. O ClickHouse permite calcular métricas de latência, taxa de chamadas e erros diretamente sobre os spans. Com isso, o jaeger entrega o Service Performance Monitoring de forma nativa, eliminando a necessidade de um pipeline de métricas externo e reduzindo a complexidade da stack de observabilidade.