Shopify transforma modelos abertos em especialistas para tarefas do Sidekick

O Sidekick, assistente de comércio com IA da Shopify, usa um frontier model para conversar com o lojista, planejar e chamar ferramentas. Tarefas focadas vão para subagentes, e vários deles rodam modelos abertos pós-treinados pela Shopify. No caso do subagente de GraphQL, ele lê o schema da API, busca na documentação, escreve e executa a query. O custo está no volume: ele lê cerca de 40 tokens para cada um que escreve, e a API de um frontier model cobra por todos.

A Shopify pós-treinou o NVIDIA Nemotron 3.5 Lightning, um mixture-of-experts com 30 bilhões de parâmetros, dos quais 3 bilhões ativos por token. Sem ajuste, ele marcou 37,7 no juiz de GraphQL, contra 73 do frontier model. Depois de seis ciclos e 61 mil exemplos "curados" por self-healing, chegou a 74,5. Na replicação de tráfego de produção com o AIPerf, a mediana foi de 0,87 segundo contra 6,50 segundos do frontier, e o p99 terminou 8 vezes antes. O custo de servir ficou cerca de 90% menor.

O processo gira em torno de um juiz LLM calibrado com rótulos humanos (otimizadores GEPA e ACE). Toda noite, o juiz avalia uma amostra de conversas reais. O que não for perfeito vai para o self-healing: um frontier model critica e escreve uma dica, nunca a resposta, e um lojista simulado repete o pedido. Em 86 execuções noturnas, foram reparadas 59.535 conversas, 69% das falhas tentadas. O resto é corrigido por anotadores humanos, que realimentam o juiz.

Para quem opera pipelines de dados e IA, o recado é de arquitetura: o juiz calibrado é o ativo central, porque pontua toda mudança de agente, modelo e treino. A economia (90% a 98% de custo menor segundo a Shopify) só vale se a avaliação for confiável. Esta é uma leitura editorial, e os números vêm de medições da própria empresa e da NVIDIA.