Armazenamento em Colunas Largas: Entenda Cassandra, Bigtable e ScyllaDB

Sistemas de armazenamento em colunas largas, como Cassandra, Bigtable e ScyllaDB, são projetados para cargas de trabalho de alto volume de escrita e leituras previsíveis, características de 'firehose workloads'. A arquitetura se baseia em uma abordagem NoSQL onde cada linha pode ter um esquema flexível de colunas, diferindo da rigidez dos bancos de dados relacionais. A principal característica é o uso de uma chave de partição para distribuir os dados entre os nós do cluster, garantindo escalabilidade horizontal. Dentro de cada partição, uma chave de agrupamento (clustering key) define a ordenação física das linhas em disco, permitindo buscas eficientes por fatias contíguas de dados.

Para otimizar o processamento de grandes volumes de escrita, esses sistemas empregam estruturas como o LSM tree (Log-Structured Merge Tree). As escritas são inicialmente gravadas em um log de commit e em uma memtable em memória, que depois são descarregadas para arquivos SSTables imutáveis no disco. Este design transforma escritas aleatórias em operações sequenciais, maximizando o throughput de escrita. Em contraste, as leituras podem ser mais complexas, exigindo a junção de dados da memtable e de múltiplos SSTables, processo auxiliado por filtros de Bloom e compactação para manter a performance. A modelagem de dados nestes sistemas é orientada às consultas, ou seja, as tabelas são criadas para atender padrões de leitura específicos, muitas vezes implicando em desnormalização, como já abordamos em nossa matéria sobre Uma taxonomia para arquiteturas de storage/workload de 25 de junho de 2026.

A adoção de armazenamento em colunas largas é uma decisão estratégica para empresas com volumes massivos de dados que precisam de alta disponibilidade e baixa latência para tipos específicos de consulta. Empresas como Netflix, Discord e Google utilizam essas tecnologias para cenários onde a escalabilidade linear e a resiliência são críticas, como histórico de visualização, mensagens em tempo real e indexação de busca. Entender essa arquitetura permite aos engenheiros de dados e arquitetos de sistemas projetar soluções que realmente atendam às demandas de performance e escala, evitando os gargalos que bancos de dados relacionais enfrentariam sob cargas extremas, e fazendo escolhas de tecnologia mais assertivas para cada tipo de workload, sejam eles OLTP, OLAP, HTAP ou LTAP.