Nem tudo precisa de um LLM: decision models servem para tarefas mais simples

A PostHog descreve como usa decision models, modelos que recebem uma pergunta estruturada e devolvem uma resposta tipada com probabilidade (sim/não, escolha ou nota). A newsletter cita o Jev como exemplo e afirma que, em modelo calibrado, respostas com 0,8 acertam cerca de 80% das vezes. Segundo o texto, esses modelos chegam a ser até 444,6 vezes mais baratos e 193,6 vezes mais rápidos que modelos de fronteira.

Os usos em produção são quatro. Filtro antes de chamar um LLM: no Replay Vision, duas perguntas sim/não detectam dados pessoais em resumos de sessão, com limiar de 0,4, e 98,7% passam sem chamar o Gemini. Roteador de modelos: o bot do PostHog no Slack escolhe a opção mais barata que deve concluir a tarefa de primeira. Checagem de face-value: a busca por embeddings gera a lista e o decision model reordena, com ganho de cerca de 25% na qualidade do ranking em 20 consultas de teste. Substituto de LLM superdimensionado: escolha de gráficos para consultas SQL. A empresa também lista limites: encadear raciocínio em várias etapas inundou o servidor de modelos, e o ranking de achados de um agente de revisão de PRs deu AUC de 0,52, inconclusivo.

O CEVIU já tinha tratado a mesma discussão em 10 de novembro de 2026, na matéria "Nem tudo precisa de um LLM: como a PostHog usa decision models", que destacava o filtro de dados pessoais evitando 98,7% das chamadas e a questão dos limiares. Não há evolução temporal nova entre elas, é o mesmo material visto por outro ângulo. Outras matérias, como "A Escolha Estratégica de LLMs: Equilibrando Poder e Custo em Desenvolvimento", de 3 de setembro de 2026, tocam o tema de custo de modelos, mas não tratam do mesmo produto ou projeto.

Para quem opera uma startup com IA em produção, a leitura prática é separar o que é decisão simples do que é raciocínio aberto. Se a tarefa cabe numa pergunta com resposta tipada, um decision model tende a cortar custo e latência. O ponto de atenção é o limiar: ele depende do custo de cada tipo de erro e precisa ser recalibrado por tarefa e por versão do modelo, como a PostHog viu entre v1 e v2. Vale também deixar a troca de modelo fácil, com uma camada de interface própria.