Do scoring ao spelling: como o Instacart reconstruiu seu sistema de retrieval de anúncios com IA generativa

O Instacart não só trocou BERT por um modelo generativo, ele reconstruiu o conceito de 'produto' no core do sistema de anúncios. Os Semantic IDs (SIDs) são a peça-chave: sequências de quatro codewords (ex: 35_7_120_184) geradas por um RQ-VAE, que agrupam produtos semanticamente próximos em vez de tratar cada SKU como um token isolado. Isso elimina o gargalo de vocabulário e resolve o cold start na raiz: um novo produto entra no catálogo com um SID existente, e já é recuperável no mesmo dia, sem histórico de compras.

A arquitetura de retrieval agora opera como um 'autocomplete de sessão': o modelo recebe um template estruturado com tipo de varejista, SIDs do histórico do usuário e SIDs do carrinho atual, e gera o próximo item token por token via beam search. Isso força coerência semântica (ex: se começa com prefixo 35_7, permanece no domínio de 'frescos'), algo impossível na antiga distribuição plana de probabilidades sobre milhões de IDs atômicos. A infraestrutura de serving foi reescrita em Go, com TensorRT-LLM no Triton, porque o modelo generativo exigiu GPU, não era viável no stack antigo baseado em Python e CPU.

Em abril de 2026, a CEVIU já havia mostrado como a Faire migrava de BM25 para recuperação neural dispersa e do XGBoost para deep learning no ranqueamento, mas ainda dentro do paradigma discriminativo de pontuação. O Instacart de junho de 2026 vai além: não é uma evolução incremental de scoring, é uma mudança de paradigma. Antes: 'dê uma nota para cada produto no catálogo'. Agora: 'construa o produto ideal, passo a passo, a partir do contexto real da sessão'. Isso explica os ganhos concretos: +34% em adições ao carrinho, +421% em Álcool e latência 10, 17% menor, mesmo gerando o dobro de candidatos.

Isso não é só sobre anúncios. É uma prova de que modelos generativos podem operar com baixa latência e alta precisão em ambientes de dados altamente heterogêneos, como supermercados, onde o mesmo carrinho mistura frutas, detergentes e ração. A abordagem dos SIDs mostra como compactar semântica em código sem perder granularidade, um caminho viável para marketplaces que lutam com escalabilidade de catálogo e descoberta de cauda longa. Para engenheiros de dados, é um caso prático de como representação de entidade (não só feature engineering) define o teto de desempenho de todo o pipeline.