Netflix cria particionamento dinâmico no Cassandra para séries temporais de alto volume

A Netflix não está apenas ajustando o Cassandra: está redefinindo como bancos de dados distribuídos lidam com séries temporais em escala real. O particionamento dinâmico, anunciado em 3 de junho de 2026 e agora em produção, ataca dois sintomas crônicos do Cassandra em workloads de eventos contínuos, latência de leitura em segundos e timeouts recorrentes, com duas camadas técnicas distintas. A primeira, o re-particionamento de fatias de tempo, opera em segundo plano usando nodetool tablehistograms para monitorar densidade de partições e recalibrar automaticamente os limites de janelas temporais (ex: mudando de 1h para 15min por partição) com base em alvos configuráveis: entre 2 MiB e 10 MiB, nunca ultrapassando 100 MB. A segunda, o particionamento dinâmico por ID, é acionada em tempo de leitura: ao detectar uma partição larga durante uma consulta, um pipeline assíncrono a divide e redireciona transparentemente as requisições usando filtros Bloom em memória, sem que aplicações precisem saber ou se adaptar.

Isso não é uma otimização isolada. Conecta-se diretamente à evolução da movimentação de dados descrita em 21 de maio: o novo particionamento reduz a pressão sobre pipelines que migram dados do Cassandra para Iceberg no S3, pois partições menores e mais uniformes melhoram a eficiência dos leitores Spark DataFrames. Também complementa os Data Projects lançados em 14 de maio, agora, cada projeto pode definir políticas de particionamento dinâmico específicas para seus ativos de séries temporais, vinculando governança a comportamento operacional.

O que era uma estratégia manual de 'chunking' baseada em CustomerId (desde 2018) e depois uma abstração estática com 'event bucketing' (desde outubro de 2024) agora virou um sistema autoadaptativo. Antes, engenheiros ajustavam buckets de tempo ou tamanhos de chunk em código ou configurações fixas; agora, o sistema detecta, decide e executa divisões em tempo real, mantendo compatibilidade total com consultas existentes. A mudança não é só técnica: é operacional, elimina intervenções manuais para equilibrar partições em clusters com petabytes de dados de visualização e métricas.

Para times de dados que usam Cassandra para séries temporais, isso significa deixar de escolher entre escalabilidade e baixa latência. Partições largas eram um trade-off inevitável, ou você fragmentava demais e perdiam qualidade nas consultas de intervalo, ou consolidava demais e quebrava SLAs. Agora, o Cassandra da Netflix age como se tivesse um agente de balanceamento interno, capaz de manter 99% das leituras sob 200ms mesmo com crescimento desigual de dados por usuário ou dispositivo. Isso impacta diretamente a confiabilidade de sistemas críticos: desde detecção de fraudes em tempo real até geração de recomendações baseadas em sessão.