PayPal eleva precisão de assistente de IA de 43% para 95% com melhor contexto, sem trocar o modelo

A PayPal diz ter levado a precisão de um assistente interno de ciência de dados de 43% para 95% sem trocar o LLM. O assistente já acessava dados validados, segundo Ren Zhang, VP e head global de produto de IA, mas isso não bastava para responder perguntas de negócio. Faltavam definições, padrões de consulta e procedimentos analíticos que os analistas usam no dia a dia. Um exemplo: ao perguntar sobre "novas contas", o agente podia recuperar os registros certos e aplicar a definição errada de "nova".

A solução foi uma camada de conhecimento separada do modelo, com "golden queries" (consultas que indicam como obter dado para um propósito) e playbooks analíticos (como investigar uma pergunta, por exemplo falhas de login e uso de passkey). Zhang projetou o assistente para ser agnóstico de modelo: se o modelo melhora, troca-se sem refazer o conhecimento. No agente de comércio voltado ao cliente, a PayPal testou quatro ou cinco modelos. Um modelo de 8 bilhões de parâmetros reduziu a latência (de cerca de 15 segundos), mas perdeu precisão, e o fine-tuning não fechou a conta. A empresa passou a pesar o custo de manter customizações a cada novo modelo.

Deepika Khera, diretora sênior de IA, descreveu os controles para agentes. Um workflow de sete agentes investiga alertas em mais de 33.000 serviços, cruzando Datadog, ServiceNow e logs internos. Cada decisão proposta é checada contra uma fonte de verdade, e muitas ainda exigem validação humana. Em um fluxo de desenvolvimento, a equipe forçou a consulta à memória em uma etapa específica, em vez de deixar a escolha ao agente.

O caso da PayPal conversa com a cobertura anterior do CEVIU, mas não é continuação do mesmo evento. Em 29 de outubro de 2026, o CEVIU noticiou "Benchouse leva acurácia de agente de analytics de 49,6% para 96,5% com troca de modelo e ajustes de contexto", em que parte do ganho veio de esclarecer métricas de negócio. A diferença: lá houve troca de modelo e ajuste de contexto; na PayPal, o modelo ficou o mesmo e o ganho veio só da camada de conhecimento.

Para quem opera dados e IA em fintech, o recado é que acesso a dado limpo não resolve definição de negócio. Ler o caso como tese de arquitetura faz sentido: o ativo durável é o conhecimento codificado, não o modelo. Isso tende a reduzir dependência de fornecedor e custo de retreino. Para áreas reguladas, a combinação de memória autorizada, aprovação humana e teste em produção é um desenho de controle a observar.