Antes de avaliar um AI SRE, dê contexto ao agente que você já tem

O teste da CNCF isola uma variável: contexto. O mesmo agente (Claude Code com Claude Sonnet 5 no Amazon Bedrock) rodou 50 falhas do SREGym num cluster EKS de 3 nós. Um braço tinha shell e kubectl cru. O outro, ferramentas MCP somente leitura do Radar, com kubectl bloqueado. A precisão ficou colada (46 contra 45 acertos). O ganho veio no tempo: 86% dos diagnósticos corretos em até dois minutos contra 60% com shell. Nas 14 falhas com pods Ready e aplicação quebrada, a média caiu de 326 para 79 segundos.

O que o contexto entrega são quatro coisas: lista de falhas atuais já detectadas, linha do tempo de mudanças (spec e histórico de releases Helm, mantidos depois que os eventos do Kubernetes expiram, por padrão em uma hora), recursos já unidos às suas relações e logs filtrados para os erros, com segredos mascarados. Sem isso, o agente abria toda falha com get pods e get events e, em 24 casos, saiu caçando histórico em ReplicaSets, rollout history ou valores do Helm. Boa parte do tempo ia em reconstruir o que mudou. Há ressalvas: os autores mantêm o Radar, cada braço rodou cada falha uma vez, o SREGym injeta falhas minutos após o deploy (o que favorece quem rastreia mudanças) e só se mediu diagnóstico, não remediação.

A cobertura anterior do CEVIU, em "Autodiagnóstico de Alertas Kubernetes com HolmesGPT e Ferramentas da CNCF" (22 de abril de 2026), mostrou uma equipe SRE do STCLab cortando a investigação de alertas de 15 a 20 minutos para menos de 2. Agora o teste da CNCF dá um número comparável de forma controlada: o contexto, sozinho, empurra a maioria dos diagnósticos para a faixa de dois minutos. E o texto cita o próprio HolmesGPT, projeto CNCF Sandbox, como agente que aceita servidores MCP remotos, o que permite testar contexto e agente em separado.

Antes de assinar um AI SRE, vale medir o agente que o time já paga, com acesso somente leitura e contexto bom, num limite de tempo fixo. Se ele empatar, o produto precisa se justificar em outras frentes, como o gatilho automático no alerta e a governança. Nos transcritos de shell, o agente criou pods em 13 falhas, usou exec, cp, port-forward ou debug em 21 e puxou dados de Secret em 4. Identidade somente leitura e registro de cada chamada deixam de ser detalhe.