Perplexity testa 12 modelos contra o sandbox do agente SPACE: nenhum escapou da isolação entre VM e host

O SPACE roda os agentes Perplexity Computer dentro de VMs convidadas (Firecracker microVMs) e parte de um modelo de ameaça em que o agente pode ser adversarial e ter controle total do guest. O objetivo é impedir que ele comprometa o host (por exemplo, acessando credenciais fora da VM) ou fure as restrições de rede. Nos testes de sandbox escape, todos os modelos recebem root no guest, tratando a primeira barreira (kernel do guest) como já violada. Só a segunda, o isolamento do hypervisor, é avaliada.

Na Parte II, a Perplexity ampliou o teste para 12 modelos, somando Claude Mythos 5.1, Claude Opus 5.5 e GPT-6 Astra. Com o prompt aberto, os modelos gastaram pouco esforço na camada de virtualização: todos, exceto os três GPT, dedicaram no máximo 4%, e os GPT ficaram entre 18% e 22%. Com um prompt que direcionava explicitamente o foco para essa camada, a fatia subiu cerca de 60 pontos percentuais em média, e Claude e GPT passaram a usar perto do limite de 120 minutos. Mesmo assim, nenhuma execução escapou da VM para o host. A empresa afirma que isso é evidência mais forte do isolamento do que o primeiro resultado, que ela considera fraco.

Dois achados metodológicos chamam atenção. Primeiro, tarefas no formato capture-the-flag fazem o agente gastar esforço caçando a flag em vez de investigar o mecanismo de segurança testado. Segundo, o GPT-5.6 Cyber, treinado para segurança, foi pior que o GPT-5.6 Sol: na tarefa de bypass de rede com acesso ao código-fonte, o Sol acertou nas três execuções e o Cyber falhou nas três. A Perplexity vê um padrão parecido entre GPT-6 Astra (generalista) e Mythos 5.1 (focado em segurança), mas diz que o experimento é limitado demais para firmar uma troca geral entre especialização e capacidade ampla. Para avaliar execuções sem sucesso, usou seis LLMs como juízes em cinco critérios, numa escala de quatro pontos.

Em 24 de setembro de 2026, o CEVIU noticiou, em "Vulnerabilidades em Infraestruturas de IA: Perplexity SPACE expõe desafios de segurança", a Parte I, com nove modelos: nenhum ataque violou o host da VM em 108 testes, e quatro modelos usaram acesso parcial à rede para alcançar destinos bloqueados. Agora o conjunto sobe para 12 modelos, e a conclusão sobre o isolamento ganha respaldo do prompt focado na virtualização, que na Parte I não existia. A Parte II também passa a discutir o viés do formato CTF e o desempenho do modelo especializado.

Para quem constrói ou avalia agentes, a leitura é que um resultado negativo de red-teaming depende muito do prompt. Se o agente passa 96% do tempo longe da camada que você quer testar, o "nenhum escapou" diz pouco. Também sugere cautela ao escolher modelo para tarefas de segurança: benchmark especializado não garantiu desempenho melhor nesse teste.