Zepto otimiza ingestão em larga escala no ClickHouse com Kafka Connect personalizado

A Zepto não só aumentou o throughput em 45% no ClickHouse com um Kafka Connect personalizado, ela resolveu um gargalo operacional crítico: a ingestão de bilhões de eventos por dia para o Lucid, seu motor interno de análise de produtos. O problema não era o Kafka nem o ClickHouse isoladamente, mas a combinação de restrições do Confluent Cloud (infraestrutura gerenciada sem acesso a ajustes de baixo nível no broker e no conector) com as limitações do conector open-source original, que não suportava buffering inteligente nem controle fino de GC. A solução foi reescrever componentes-chave do conector para inserir lógica de buffer nativa, evitar pausas de coleta de lixo e implementar batching adaptativo baseado em tamanho *e* tempo, não mais apenas em contagem fixa de registros.

Isso coloca a Zepto dentro de uma tendência clara entre empresas de alta escala: abandonar conectores genéricos em favor de versões especializadas quando o custo operacional da latência ou da instabilidade supera o esforço de manutenção. Diferente da Grab, que unificou ingestão com Flink para reduzir tempo de integração, ou da Datadog, que migrou de Postgres para otimizar latência de queries, a Zepto atacou o ponto exato onde os dados entram no sistema analítico, e fez isso sem trocar o stack, apenas aprimorando o elo fraco. O fato de ter contribuído com duas correções upstream mostra que a otimização não foi um fork isolado, mas uma melhoria que beneficia toda a comunidade.

Na cobertura anterior do CEVIU sobre ingestão em larga escala, destacamos soluções baseadas em Flink (Grab), substituição de bancos transacionais (Datadog) ou escalonamento de consumidores (Cloudflare). A Zepto é a primeira no nosso histórico a reescrever diretamente o Kafka Connect para ClickHouse, não como um wrapper ou serviço paralelo (como o da Tinybird), mas como uma modificação profunda do conector open-source. Antes, o ecossistema dependia de configurações superficiais (como bufferCount e bufferFlushTime, introduzidas em maio de 2026) ou de serviços externos. Agora, a Zepto demonstrou que, para throughput sustentado acima de 10 MB/s com picos até 20 MB/s, é necessário controle granular sobre ciclo de vida do buffer, serialização Avro e timing de flush, algo que nenhum conector padrão oferecia até então.

ClickHouse é usado pela Zepto para relatórios em tempo real críticos, não para armazenamento histórico, mas para decisões operacionais de produto, como ajuste de estoque dinâmico e recomendação de ofertas. Um gargalo na ingestão significa insights atrasados, métricas desatualizadas e, consequentemente, perda de receita. Ao resolver isso com engenharia de baixo nível no conector, a Zepto garantiu que o Lucid processe milhões de eventos por minuto com consistência, mesmo enquanto sua base de usuários transacionais cresce para 47,97 milhões e os pedidos diários ultrapassam 1,75 milhão. Isso também afeta diretamente sua IPO: investidores avaliam infraestrutura de dados como indicador de maturidade operacional, especialmente em empresas de quick-commerce, onde velocidade de decisão = velocidade de execução.