Antes de avaliar um AI SRE, dê contexto ao agente que você já tem

O SREGym é o benchmark aberto de falhas em Kubernetes usado no teste, descrito pelo artigo como projeto da Microsoft e da UIUC. No repositório, aparece como uma plataforma de benchmark para agentes SRE, em Python, com licença MIT e release 1.1. Quem escreveu o texto é a equipe da Radar, que mantém uma UI Kubernetes open-source com servidor MCP. A Radar não é a autora do SREGym: ela usou o benchmark para medir o próprio produto.

O desenho foi simples. Foram 50 falhas do SREGym em um cluster Amazon EKS de 3 nós, com Claude Code em Claude Sonnet 5 via Amazon Bedrock. Um braço tinha shell e kubectl puro. O outro tinha ferramentas MCP somente leitura da Radar, com kubectl bloqueado. O juiz do SREGym, Claude Opus 5 com temperatura 0, avaliou o primeiro diagnóstico de cada execução. Com contexto, 46 acertos contra 45, mas 86% dos diagnósticos corretos em até dois minutos contra 60%. Nas 14 falhas em que todos os pods estavam Ready e a aplicação quebrada, a média caiu de 326 para 79 segundos.

O contexto entregue tinha quatro itens: falhas atuais já detectadas, linha do tempo de mudanças (que sobrevive à expiração dos eventos do Kubernetes, de uma hora por padrão), recursos com seus relacionamentos e logs filtrados para erros, com segredos mascarados. Limitações que o próprio texto admite: cada falha rodou uma vez por braço, os braços tinham permissões diferentes (só o shell escrevia), o benchmark injeta falhas minutos após o deploy, o que favorece quem rastreia mudanças recentes, e só se mediu diagnóstico, não correção.

Em 21 de outubro de 2026, o CEVIU noticiou "Antes de avaliar um AI SRE, dê contexto ao agente que você já tem", sobre o mesmo teste da CNCF. Esta matéria acrescenta o detalhamento do método, as limitações e os riscos de permissão observados nas execuções com shell. Não há mudança nos números entre as duas coberturas.

Para quem opera plataforma, a leitura é que o ganho veio de tempo, não de raciocínio melhor: os dois braços erraram as mesmas três falhas. Antes de pagar por um AI SRE, vale montar um baseline com o agente que você já tem, identidade somente leitura e o mesmo conjunto de falhas. Como o autor mantém a Radar, os números pedem repetição no seu ambiente.

Repositório oficial: SREGym/SREGym