Calibração de LLMs: comparativo entre Temperature Scaling, Platt Scaling e Isotonic Regression

A calibração de LLMs não é um ajuste cosmético: é uma camada crítica de governança de confiança. Modelos pré-treinados e até fine-tunados frequentemente exibem superconfiança sistêmica, em tarefas multilíngues, o Expected Calibration Error (ECE) pode dobrar comparado ao inglês, e em modelos de guarda (como os usados em moderação), essa distorção compromete diretamente a segurança operacional. Temperature Scaling, apesar de simples, atua no nível dos logits e tem impacto direto na criatividade vs. determinismo da saída: temperaturas entre 0,7–1,0 favorecem precisão factual, enquanto valores acima de 1,3 melhoram raciocínio causal, mas aumentam risco de incoerência. Platt Scaling vai além, não é só uma generalização paramétrica da Temperature Scaling com termo de viés; em benchmarks de geração de código, superou scores brutos mesmo com conjuntos de calibração reduzidos. Já a Isotonic Regression, embora flexível, exige volume de dados robusto para evitar overfitting: em cenários de inferência multi-tenant como as 'model units' da Databricks, sua aplicação exige cuidado extra na seleção do conjunto de calibração por tenant ou domínio.

O Brier Index, lançado em março de 2026, já virou referência prática: escala de 0–100% que traduz o Brier Score em interpretação imediata. Enquanto superprevisores humanos atingem 70,6%, os melhores LLMs estão em 67,9%, e a paridade está projetada para maio de 2027. Isso mostra que a calibração deixou de ser um problema teórico e virou KPI operacional: em pipelines de avaliação como os propostos pela Spotify Engineering, um ECE alto invalida o uso de LLM judges no funil inicial; em agentes autônomos, scores mal calibrados geram decisões erradas de roteamento ou auto-reflexão falha.

Antes, a cobertura CEVIU tratava calibração indiretamente, como um desafio implícito em frameworks de verificação (LLM-as-a-Judge, 14/05) ou como requisito oculto para alocação eficiente de recursos (model units, 28/05). Agora, a notícia atual traz comparação técnica concreta entre três métodos pós-hoc, com critérios de escolha claros: dados limitados → Platt Scaling; volume alto e controle de overfitting → Isotonic Regression com normalização multiclasse; necessidade de controle granular de criatividade → Temperature Scaling com ajuste por tarefa. Também há evolução nas métricas: o Brier Index (novo em 2026) já substituiu o Brier Score bruto em relatórios de produção, e o ECE passou a ser exigido em conjunto com taxas de superconfiança, algo ausente nas discussões anteriores sobre evals.

Calibração ruim quebra cadeias inteiras de confiança em produção. Em LLM-as-a-Verifier, empates ocorrem porque scores de confiança são grosseiros, não porque o modelo é incapaz de decidir, mas porque sua autoavaliação não reflete realidade. Em inferência multi-tenant, 'model units' da Databricks dependem de previsibilidade de custo e latência, mas se o score de confiança subestima a probabilidade de erro, o sistema aloca menos GPU do que o necessário para recuperação de falhas. E na atualização vLLM V1 (07/05), a correção nos logprobs foi um pré-requisito para que técnicas como Platt Scaling funcionem com precisão, sem isso, a calibração opera sobre sinais já distorcidos. Em resumo: calibração é o elo entre o que o modelo diz que sabe e o que ele realmente sabe, e agora é mensurável, comparável e integrável em arquiteturas reais.