Nem tudo precisa de um LLM: como a PostHog usa decision models

A PostHog descreve como usa decision models, modelos que respondem a perguntas estruturadas com uma resposta tipada e uma probabilidade, em vez de prosa livre. Os tipos citados são noul (sim/não), choice (escolha entre opções) e score. Em um modelo calibrado, respostas com 0.8 acertam cerca de 80% das vezes. A fonte cita um modelo chamado Jev e diz que decision models chegam a ser até 444.6x mais baratos e 193.6x mais rápidos que modelos de fronteira.

O caso central é o filtro de dados pessoais no Replay Vision. Cada resumo de sessão passa por duas perguntas de sim/não: se nomeia uma pessoa real e se mostra contato ou ID. Se qualquer uma pontuar 0.4 ou mais, o Gemini reescreve o resumo e ele é checado de novo. Em produção, 98.7% dos resumos passam sem chamar o LLM. O limiar é baixo de propósito: um falso positivo custa só uma chamada extra, enquanto um falso negativo grava dado pessoal como limpo. No bot PostHog in Slack, onde falso positivo irrita, o corte sobe para 0.85. O mesmo bot usa uma pergunta choice como roteador de modelos. A PostHog também alerta que limiares mudaram entre v1 e v2 do mesmo modelo no Error Tracking, e por isso tem um AI gateway interno para trocar e testar modelos. Os limites aparecem no ranking de achados do agente de revisão de PR, que ficou em AUC de 0.52, e no encadeamento de perguntas, que travou o servidor de modelos.

O tema já vinha sendo coberto. Em 15 de setembro de 2026, o CEVIU noticiou "Roteamento Inteligente de Modelos: Uma Estratégia para Otimizar Custos de LLMs", e em 21 de outubro de 2026, "Modelos de Decisão: Otimize Suas Avaliações e Vá Além do Padrão" e "Otimizando Decisões: Um Guia para Modelos Eficientes e Integrados". Essas matérias tratavam de roteamento, evals e da previsão direta de probabilidades. Agora há um relato de produção com números (98.7% de chamadas evitadas) e com os limiares justificados pelo custo do erro. Não se trata de evolução de um mesmo produto, e sim de um caso concreto da mesma abordagem.

Para quem opera pipelines com LLM, a leitura é prática: antes de mandar tudo ao modelo grande, vale perguntar se uma checagem de sim/não resolve. Isso mexe na conta de custo e latência. O limiar deixa de ser um número copiado de tutorial e vira decisão de negócio, por tarefa e por modelo. Quem trocar de versão deve recalibrar com dados rotulados.