Otimização de Parsing JSON em ARM com SVE2 Acelera Processamento de Dados

A biblioteca simdjson é conhecida por sua velocidade em parsing de JSON, um formato de dados onipresente. Para otimizar a indexação de caracteres estruturais (como chaves, colchetes, vírgulas), a biblioteca tradicionalmente utilizava instruções NEON, uma arquitetura SIMD presente em processadores ARM. Esse método envolvia múltiplas instruções para classificar e gerar máscaras de 64 bits a partir de blocos de 64 bytes. A nova otimização, implementada por Madhurendra Purbay, engenheiro da ARM, e integrada ao simdjson, explora as capacidades do SVE2 (Scalable Vector Extension 2), uma extensão SIMD mais recente da arquitetura ARM, presente em processadores como os Graviton 4 e 5.

O grande diferencial do SVE2 é a instrução match. Enquanto o NEON exigia uma sequência de quatro instruções para classificar 16 bytes e mais para gerar as máscaras, a instrução match do SVE2 pode fazer o mesmo, para um pequeno conjunto de caracteres, com potencialmente uma única instrução. Ela gera um predicado (uma máscara) diretamente, marcando onde os caracteres de entrada pertencem ao conjunto especificado. Essa mudança radical no subsistema de classificação de caracteres estruturais, embora o ganho total no parser seja modesto (1 a 4%), representa uma melhoria significativa no estágio de indexação (3 a 9%), empurrando ainda mais os limites de uma biblioteca já altamente otimizada. É uma demonstração de como a otimização de baixo nível com SIMD, como discutido na cobertura do CEVIU de 23 de julho de 2026 sobre o poder do SIMD, continua sendo crucial para performance em softwares.

Em abril, Daniel Lemire já havia levantado a hipótese de que a instrução SVE2 match poderia ser a maneira mais rápida de corresponder caracteres em processadores ARM, mas seus testes eram em um "benchmark de brinquedo". A novidade agora é que essa ideia passou do conceito para a realidade em um parser de verdade. O que era um rumor e uma aposta técnica se concretizou com a implementação real dentro da biblioteca simdjson, provando a eficácia da abordagem. Antes, a classificação de caracteres estruturais no simdjson dependia de uma sequência mais complexa de instruções NEON, incluindo table lookups (tbl) e operações de vetor. Com SVE2, essa complexidade é reduzida drasticamente, substituindo várias instruções por uma única e poderosa instrução match.

A otimização do parsing de JSON é um ponto crítico para a performance de muitos sistemas e pipelines de dados. JSON é um formato de intercâmbio de dados predominante, e a capacidade de processá-lo de forma mais eficiente tem um impacto direto na latência e no throughput de aplicações, especialmente em cenários de big data e nuvem. Melhorias, mesmo que percentualmente pequenas, em uma biblioteca tão fundamental como o simdjson são importantes para a performance geral do ecossistema. Com o crescimento do uso de processadores ARM, como os Graviton na AWS, otimizações como esta garantem que a infraestrutura de dados na nuvem continue a oferecer desempenho de ponta, permitindo que ferramentas que lidam com JSON, como o DuckDB (tema de várias matérias do CEVIU, como em 17 de agosto de 2026 e 15 de setembro de 2026, onde seu desempenho com JSON foi destacado), operem de forma ainda mais rápida e eficiente.