json_key_search: como construímos o índice invertido do SmithDB para busca textual completa

A SmithDB, plataforma de observabilidade para agentes, detalha em seu blog a arquitetura e o funcionamento do índice invertido projetado para busca textual completa, especialmente em campos como inputs e outputs de payloads de larga escala. O artigo técnico explica que o processo de construção do índice é realizado durante a ingestão de dados, permitindo que novas execuções (runs) se tornem pesquisáveis em segundos. Para otimizar a análise de payloads JSON complexos, a SmithDB emprega um formato tipo 'tape' inspirado no Apache Arrow, que aplaina os dados em pares (path, leaf_value) sem alocações por campo ou conversões numéricas. Subsequentemente, os valores são tokenizados (divididos, convertidos para minúsculas, removidos de stop words e limitados a 256 caracteres) e, então, unificados através de 'string interning', uma técnica que mapeia termos únicos a IDs inteiros, reduzindo ~2.2x o tempo de construção ao focar em comparações de termos distintos em vez de ocorrências. O uso de radix sort para agrupar postagens por termo antes de alimentar um Finite State Transducer (FST) otimiza ainda mais essa etapa.

A gestão de memória e performance em operações de leitura é abordada com limiares de 'flush' para escrita de índice (32 MB/500K termos/64 MB bytes de termo bruto por 'row group'; ~2 MB por 'aligned chunk'; 8 MB para 'mid-term position spill'). A compactação via streaming, usando um min-heap, mescla índices de arquivos menores em unidades maiores, mantendo o uso de memória escalável com o número de entradas sendo mescladas, não o tamanho total do índice. Em tempo de consulta, o índice invertido é tratado como mais um 'layout' dentro do pipeline LayoutReader da SmithDB, sem que a superfície SQL ou o planejador de consultas precisem de conhecimento explícito sobre sua existência.

Este detalhamento técnico sobre a construção e consulta do índice invertido do SmithDB representa uma continuação da exploração iniciada em um post anterior, que focou no design da implementação do índice invertido suportado por armazenamento de objetos. O artigo atual aprofunda os mecanismos de construção, compactação e consulta, detalhando o uso de 'string interning' e radix sort para otimizar a velocidade de construção em até 2,2 vezes. Ele também introduz detalhes sobre os limiares de 'flush' e a estratégia de compactação via streaming, garantindo que o uso de memória seja limitado independentemente do tamanho do índice. Além disso, a nova matéria descreve como as consultas integram índices locais (em SSD) com dados em armazenamento de objetos para garantir atualizações em menos de um segundo, um avanço na capacidade de busca em tempo real.

A capacidade de realizar buscas textuais completas de forma eficiente em grandes volumes de dados, como os encontrados em 'agent traces', é crucial para a observabilidade e depuração em sistemas baseados em IA. O projeto SmithDB demonstra como otimizar a análise de payloads JSON complexos usando técnicas como parsing 'tape', tokenização e, principalmente, 'string interning', que acelera significativamente o processo de indexação. A estratégia de gerenciar índices em diferentes níveis de armazenamento (SSD local e 'object storage') e a compactação de dados em tempo real viabilizam a busca com latência inferior a um segundo, mesmo quando confrontado com dados recém-ingeridos. Isso permite que desenvolvedores e engenheiros identifiquem e resolvam problemas de forma mais ágil, melhorando a confiabilidade e a performance de aplicações de IA.