HubSpot otimiza infraestrutura de recuperação de IA com escala de bilhões de vetores

A HubSpot elevou sua plataforma Vector-as-a-Service (VaaS) a um patamar de escala impressionante. O VaaS, um serviço centralizado de armazenamento e busca vetorial, utiliza o Qdrant, um banco de dados vetorial de código aberto, para gerenciar mais de 20 bilhões de vetores. Essa infraestrutura, distribuída em 200 índices e 140 clusters, é vital para operações de busca semântica, como deduplicação de contatos, sistemas de agentes e Geração Aumentada de Recuperação (RAG). A escolha de hospedar o Qdrant internamente permite à HubSpot aproveitar sua expertise em gerenciamento de sistemas de banco de dados, otimizar custos e manter controle total sobre dados e segurança.

A arquitetura se apoia no Qdrant, que utiliza o algoritmo HNSW (Hierarchical Navigable Small World) para busca de vizinhos mais próximos, garantindo baixa latência. Para otimizar a eficiência, a HubSpot aplica recursos como quantização e armazenamento em disco de cargas úteis e vetores. A plataforma também lida com um tráfego de mais de 5.000 RPS para escritas (com picos de 100.000 RPS) e 1.000 RPS para leituras, demandando uma infraestrutura robusta e escalável para lidar com as demandas de IA.

A grande transformação na HubSpot foi a migração de um gerenciamento manual da infraestrutura Qdrant, baseado em Helm, para a automação via Operadores Kubernetes. Em 2023, quando a busca semântica ainda era um projeto-piloto com poucos clusters, o Helm funcionava. Porém, com o crescimento para bilhões de vetores e dezenas de clusters, o gerenciamento manual se tornou insustentável.

A mudança para Operadores Kubernetes, baseados na estrutura Kube-operators interna da HubSpot, automatizou tarefas como criação de clusters, escalabilidade horizontal, balanceamento de shards e recuperação de replicação. Isso reduziu o tempo de inicialização de clusters de horas para minutos e aliviou significativamente a carga operacional da equipe de engenharia. A automação também assegura o balanceamento inteligente de shards e a recuperação de réplicas sub-replicadas, o que antes era um processo complexo e propenso a erros.

A otimização da infraestrutura de vetores na HubSpot é um passo estratégico para sustentar suas crescentes capacidades de IA. Ao automatizar a gestão de bilhões de vetores, a empresa garante que suas aplicações de IA, como sistemas de agentes e RAG, tenham acesso rápido e confiável às informações. Isso é crucial para a qualidade das interações com clientes e a eficiência das operações internas.

A capacidade de escalar e gerenciar essa infraestrutura de forma eficiente, como já vimos em outras empresas com a Meta, que reestruturou seu armazenamento para otimizar workloads de IA em larga escala, e a Zalando com seu balanceamento de carga no lado do cliente, é um diferencial. A HubSpot consegue, assim, controlar custos e garantir a segurança dos dados, solidificando sua posição na vanguarda da aplicação de IA em produtos de software.