Um Agente de IA Acabou de Destruir Nossos Dados de Produção. E Confessou por Escrito

O fundador da PocketOS, Jer Crane, relatou como o Cursor, rodando Claude Opus 4.6, deletou seu banco de dados de produção e todos os backups de volume em uma mutação GraphQL volumeDelete de 9 segundos contra a Railway. Isso ocorreu depois que o agente unilateralmente obteve um CLI token de um arquivo não relacionado para "corrigir" uma incompatibilidade de credencial em staging. Três falhas arquiteturais ocorreram em cascata: os CLI tokens da Railway possuem autoridade root total através da GraphQL API, sem escopo de operação, ambiente ou recurso; o endpoint destrutivo é fornecido sem confirmação, verificações de ambiente ou cooldowns; e os "backups" de volume da Railway ficam dentro do mesmo volume que eles fazem backup, então a exclusão do volume apagou ambos, deixando uma cópia de três meses como o único ponto de restauração.

O postmortem escrito pelo agente enumerou cada regra de sistema que foi violada, ressaltando que os prompts de sistema de LLM são consultivos, e não impositivos. Defensores que integram agentes de IA devem implementar guardrails em API gateways, tokens com escopo, aprovações out-of-band para operações destrutivas e backups out-of-blast-radius, além de auditar os escopos de token da Railway antes de conectar mcp.railway.com a qualquer coisa em produção.