Voltar
Como uma query SurrealQL escaneia 10 bilhões de linhas por segundo

SurrealDB Alcança 10 Bilhões de Linhas por Segundo em Query Distribuída

Aprofundamento CEVIU

Aprofundamento

O SurrealDB Earth, lançado em 3 de novembro de 2026 junto com o SurrealDB 4, alcançou um feito impressionante ao escanear mais de 10 bilhões de linhas por segundo em uma única query distribuída. A arquitetura por trás disso envolve a divisão da query em "morsels" (pedaços de trabalho que representam intervalos de chaves da tabela), que são processados por aproximadamente 1.000 Cloudflare Workers em paralelo. Esses Workers leem fatias específicas do mesmo snapshot do banco de dados, e o SurrealDB coordena a verificação e a consolidação dos resultados. Cada Worker, executando em seu próprio "isolate", acessa os dados armazenados no Cloudflare R2, e a consistência é garantida por um "sequencer" que mantém um histórico de commits e um mecanismo de leitura de snapshot.

O sistema foi projetado para escalar a taxa de scan linearmente com o número de Workers, ou "leaves", que não possuem estado e não são donos de dados. Isso significa que adicionar mais leaves não exige movimentação de dados. Os resultados dos morsels são verificados para garantir integridade antes de serem combinados, e falhas são tratadas com retries, com a garantia de que nenhum resultado parcial é retornado. O "executor" gerencia a distribuição das tarefas através de uma árvore de "openers", limitando a complexidade de cada nó. O banco de dados usou uma tabela de 10 milhões de linhas de 100 bytes para medições de desenvolvimento, mas o número de 10 bilhões de linhas/segundo veio de um teste em uma tabela muito maior na fase de lançamento.

O que mudou

A notícia de hoje complementa diretamente a cobertura de 5 de novembro de 2026, quando o CEVIU noticiou o "SurrealDB 4 reconstrói o query engine com mais de 240 correções e ganha compatibilidade com PostgreSQL, MySQL e MongoDB". Aquele artigo mencionava que o SurrealDB 4 chegaria com o query engine reconstruído e projetava operações CRUD 42% mais rápidas e consultas indexadas 22 vezes mais rápidas. Agora, com o lançamento oficial do Earth junto do SurrealDB 4, vemos uma das concretizações daquela promessa de performance, especificamente em scans distribuídos, que superou as expectativas com mais de 10 bilhões de linhas por segundo. O que era uma projeção de melhoria de query engine no SurrealDB 4, se materializa agora como um número impressionante de performance em ambiente de produção com o Earth.

Por que isso importa

Para engenheiros e cientistas de dados que trabalham com volumes massivos de informação e buscam performance em queries analíticas, a capacidade do SurrealDB Earth de escanear 10 bilhões de linhas por segundo é um marco significativo. Isso indica que a plataforma pode processar grandes conjuntos de dados de forma extremamente eficiente, crucial para pipelines de dados em tempo real e análise complexa. A arquitetura distribuída, utilizando Cloudflare Workers e R2, também demonstra um caminho para construir sistemas de dados escaláveis e resilientes na edge, com implicações para a latência e o custo de infraestrutura.

A garantia de consistência via snapshot único e a verificação dos resultados dos "morsels" são importantes para a integridade dos dados em ambientes distribuídos. Para quem opera pipelines de dados, essa capacidade de processamento de query com resiliência em falhas de Workers e a escalabilidade com o número de "leaves" significa menos preocupação com gargalos de I/O em grandes varreduras. O próximo passo de otimização no "executor" para reduzir a carga de planejamento e transporte de resultados sugere que há ainda mais espaço para aprimoramento da performance e eficiência.

Linha do tempo

  1. Escala da Execução de Workflows no Postgres

  2. PlanetScale alcança 118 milhões de queries por segundo com o Neki, seu Postgres sharded

  3. Cloudflare D1: Escalabilidade de Milhões de Bancos de Dados com Control Plane Otimizado

  4. Por dentro do Cloudflare D1: Como a plataforma escala para milhões de bancos de dados

  5. DBOS chega a 1 milhão de durable workflows por segundo no Postgres com sharding via PgDog

  6. SurrealDB 4 reconstrói o query engine com mais de 240 correções e ganha compatibilidade com PostgreSQL, MySQL e MongoDB

  7. SurrealDB Earth Alcança 10 Bilhões de Linhas por Segundo em Query Distribuída

Perguntas frequentes

O que é o SurrealDB Earth e qual seu principal feito?

O SurrealDB Earth é uma versão do banco de dados SurrealDB, lançada em 3 de novembro de 2026, que atingiu a marca de escanear mais de 10 bilhões de linhas por segundo em uma única query distribuída. Ele consegue isso ao dividir a query em várias partes e processá-las em paralelo usando Cloudflare Workers.

Como o SurrealDB Earth garante a consistência dos dados em uma query distribuída?

Ele garante a consistência lendo sempre de um snapshot único do banco de dados, assegurando que todos os Workers vejam os dados exatamente como estavam em um momento fixo. Um "sequencer" gerencia os commits, e os dados são armazenados no Cloudflare R2, que fornece imutabilidade para os "runs" de dados.

Quais são os componentes principais da arquitetura do SurrealDB Earth?

A arquitetura é construída sobre quatro blocos do Cloudflare: Workers (para execução paralela das queries), R2 (armazenamento de objetos para os dados), Durable Objects (para manter o estado de componentes como o "sequencer" e "openers") e o colo cache (para acesso rápido aos dados). O SurrealDB implementa o query engine, a lógica de distribuição e agregação sobre essa infraestrutura.

Fontes

Avalie este artigo:
Categoria
CEVIU Dados
Publicado
19 de novembro de 2026
Editoria
CEVIU Dados

Quer receber mais sobre CEVIU Dados?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser