Zerodha lança Blobasaur: armazenamento distribuído de alta performance com SQLite
Aprofundamento CEVIU
Aprofundamento
A Zerodha, plataforma de negociação, lançou o Blobasaur, um servidor de armazenamento de blobs distribuído e fragmentado, que utiliza SQLite como motor de armazenamento. Desenvolvido em Rust, o Blobasaur foi criado para lidar com um alto volume de leitura e escrita de blobs JSON, que representam preferências de interface de usuário e metadados. O sistema é compatível com o protocolo Redis, o que facilitou a integração com serviços existentes da Zerodha escritos em Go e Python que antes se comunicavam com o SSDB, o predecessor do Blobasaur. A escolha do SQLite se deu pela sua performance em blobs pequenos (até 100 KiB) e por suas funcionalidades como transações ACID, recuperação de falhas e ferramentas padrão.
Para contornar a limitação de uma única escrita por vez no SQLite, o Blobasaur fragmenta os dados em múltiplos arquivos de banco de dados SQLite no disco. Cada fragmento opera de forma independente, com sua própria fila de escrita em memória e um pool de threads para processamento em lote. Em testes de benchmark, a transição de um para 16 fragmentos aumentou a capacidade de escrita de 7.700 para 25.300 operações por segundo, com latência reduzida. O Blobasaur suporta algoritmos de compressão como zstd, lz4, gzip e brotli, sendo zstd o utilizado em produção, o que otimiza o uso de disco e cache. O sistema também implementa o protocolo Redis Cluster para escalabilidade horizontal, dividindo o keyspace em 16384 slots.
Por que isso importa
Para desenvolvedores, o Blobasaur apresenta uma solução interessante para desafios de armazenamento de dados semiestruturados em larga escala. A utilização do SQLite, um banco de dados embarcado leve, em um contexto distribuído, demonstra uma abordagem inovadora para alta performance e escalabilidade. A compatibilidade com o protocolo Redis facilita a adoção em arquiteturas que já utilizam essa interface, minimizando a curva de aprendizado e a necessidade de reescrever clientes. A escolha do Rust para o desenvolvimento também é um ponto relevante, evidenciando o foco em performance e controle de memória.
A forma como o Blobasaur resolve os gargalos de escrita do SQLite por meio de fragmentação e processamento em lote oferece um modelo de como extrair alta performance de ferramentas conhecidas, adaptando-as a novos desafios. A capacidade de lidar com milhões de blobs com latência de milissegundos, mesmo em hardware comum, é um indicativo da eficiência do design. Para quem opera sistemas com dados de usuário, preferências e metadados, o projeto da Zerodha mostra um caminho para otimizar o armazenamento e a recuperação desses dados sem depender de soluções de banco de dados distribuídos mais complexas.
Linha do tempo
Zerodha lança Blobasaur: armazenamento distribuído de alta performance com SQLite
Perguntas frequentes
O que é o Blobasaur e qual seu objetivo principal?
O Blobasaur é um servidor de armazenamento de blobs distribuído e fragmentado, desenvolvido pela Zerodha. Seu objetivo principal é armazenar e recuperar blobs de dados, como preferências de UI de usuários, com alta performance e baixa latência, usando SQLite como motor de armazenamento e sendo compatível com o protocolo Redis.
Como o Blobasaur alcança alta performance com SQLite, que tem limitações de escrita?
Ele supera a limitação de escrita única do SQLite fragmentando os dados em múltiplos arquivos de banco de dados SQLite no disco. Cada fragmento pode ser escrito de forma independente, com seu próprio pipeline de escrita, o que permite processar várias operações de escrita simultaneamente, aumentando significativamente o throughput.
Quais são as principais tecnologias e linguagens utilizadas no desenvolvimento do Blobasaur?
O Blobasaur é escrito em Rust, utilizando o SQLite como motor de armazenamento. Ele implementa o protocolo Redis para comunicação com clientes e utiliza algoritmos de compressão como zstd para otimizar o armazenamento dos blobs.
Quais são as limitações atuais do Blobasaur?
Atualmente, as atribuições de slots no cluster são estáticas, configuradas manualmente. Não há rebalanceamento de slots ao vivo entre nós em execução nem failover automático. O resharding (reorganização dos fragmentos) é uma operação offline realizada via CLI.
Fontes
- zerodha.techfonte original
- Categoria
- CEVIU Web Dev
- Publicado
- 20 de novembro de 2026
- Editoria
- CEVIU Web Dev

