Pedir a um LLM que informe o próprio grau de confiança não gera uma medida calibrada

O texto de Amrut Joshi, publicado em 20 de outubro de 2026, parte de uma analogia com a previsão do tempo. Confiança, nesse raciocínio, é o resultado de um cálculo: você começa pelo histórico e atualiza com a informação nova. Um score só é confiável se refletir quanto de informação sustenta a previsão e se foi checado contra os resultados reais, no mesmo tipo de pergunta. Calibrar não basta: quem diz sempre 30% está calibrado, mas não informa nada.

O problema com o LLM é que ele gera texto token a token (autoregressivo). O "0.85" não sai de um medidor interno, é uma continuação plausível da conversa. O pré-treino pontua o modelo pelo próximo token, não pela correspondência entre a confiança escrita e a taxa de acerto. Os sintomas aparecem rápido: perguntar de novo muda o número, reformular com "Tem certeza?" muda o número, e um texto anterior do tipo "esta é claramente a resposta certa" empurra o score para cima.

A alternativa é montar uma regra fora do modelo. No exemplo de um agente de suporte, você observa sinais como achar ou não um artigo na busca, se o tipo de pergunta já foi respondido antes e se duas respostas independentes concordam. Parte da taxa histórica (200 respostas revisadas, 150 corretas, ou seja, 75%), registra cada resposta com o desfecho, atualiza a regra por grupos e refaz a tabela de calibração toda semana. O LLM escreve a resposta, mas o score vem da regra.

A cobertura anterior do CEVIU já vinha apontando o problema por outros ângulos. Em 23 de junho de 2026, o texto "Quão confiável é a sua IA?" explicou que LLMs preveem respostas prováveis e podem errar com muita confiança. Em 12 de junho de 2026, "Avaliação e benchmarking de LLMs" defendeu processos rigorosos de avaliação. Em 25 de março de 2026, "Treinado em Tokens, Calibrado em Conceitos" trouxe o lado oposto: modelos base podem ter calibração semântica medida por amostragem. A notícia atual não contradiz isso, mas separa as coisas: o número que o modelo escreve em texto não herda essa calibração, e a saída é derivar o score de evidências observáveis.

Para quem constrói agentes, isso significa que pedir "dê uma nota de 0 a 1" no prompt e usar o valor como gatilho de revisão humana é um ponto frágil. Na leitura do CEVIU, o caminho mais seguro é tratar confiança como um componente do sistema, com log de desfechos e verificação periódica, e não como campo de resposta do modelo.