Grafana propõe aplicar SLOs e error budgets ao comportamento de agentes de IA

A Grafana Labs propõe usar avaliações (evals), SLOs e error budgets para transformar comportamentos de agentes de IA, como alucinação, cumprimento da tarefa, toxicidade e custo, em metas mensuráveis. O ponto de partida é a limitação do monitoramento tradicional: latência, erros técnicos e consumo de tokens não dizem se a resposta foi correta, fundamentada no contexto ou útil. Cada avaliação examina uma interação e decide se ela atendeu a um critério. Pode usar outro modelo como juiz, ou checagens determinísticas, como expressões regulares, quando o comportamento dispensa LLM.

A Grafana rejeita um "score de qualidade" único. Um agente pode ser bem fundamentado e caro, ou preciso e lento, então cada dimensão ganha sua própria meta. O exemplo da empresa: 95% das conversas julgadas como cumpridas em 30 dias. Os 5% restantes são o error budget. Com folga no orçamento, a equipe pode experimentar prompts e modelos. Com o orçamento queimando, a prioridade vira qualidade. Para a degradação gradual (mudança de modelo, prompt ou recuperação que derruba a qualidade uma fração de ponto por dia), o burn do budget torna a deriva visível.

A fonte também aponta o limite: o SLO só vale tanto quanto a medição. Um juiz LLM que erra de forma consistente gera falsa precisão. Faltam datasets representativos, revisão humana para casos ambíguos e validação contínua dos avaliadores. Também não há consenso sobre a meta certa (85%, 95% ou 99%). A Grafana sugere montar uma linha de base com as avaliações e apertar o alvo conforme o agente amadurece.

A cobertura anterior do CEVIU vinha tratando observabilidade de agentes em outros ângulos. Em 5 de outubro de 2026, o CEVIU noticiou "Observabilidade e IA: O Futuro da Operação em Produção com Agentes Autônomos", sobre agentes de IA na resposta a incidentes, com ênfase em responsabilidade humana contínua. Em 20 de outubro de 2026, em "IA Aprimora Observabilidade com Agentes Autônomos em Monitoramento de Software", o foco era usar agentes para monitorar software. Em 5 de março de 2026, "Até Quando Consideraremos Agentes de IA Como Produtos de Dados?" já defendia observabilidade rigorosa além dos logs padrão. A proposta da Grafana é outro lado da moeda: em vez de agentes que observam, define-se como medir se o próprio agente se comporta bem, com meta e orçamento de erro.

Para quem opera agentes em produção, a leitura é prática: dá para reaproveitar o vocabulário de SRE que o time já usa em disponibilidade e levá-lo ao comportamento. Isso pode ordenar a conversa entre mudar prompt ou modelo e congelar mudanças. O risco é tratar o número como verdade. Antes de amarrar decisões de deploy a um error budget de IA, vale validar o avaliador que alimenta o SLI.