Investindo em pesquisa de safety de IA multi-agente

O Google DeepMind, em parceria com a Schmidt Sciences, a Cooperative AI Foundation e a Advanced Research and Invention Agency (ARIA), com apoio do Google.org, lançou oficialmente em 11 de junho de 2026 um fundo de até US$ 10 milhões para pesquisa em safety de IA multi-agente. Diferentemente de avaliações tradicionais focadas em modelos isolados — como os testes aplicados a GPT-5.6, Claude Opus 4 ou Gemini 3 —, o programa prioriza riscos emergentes quando dezenas ou centenas de agentes autônomos, treinados por organizações distintas, interagem em tempo real: negociando, compartilhando contexto, formando coalizões ou executando transações sem supervisão humana direta. O foco está em comportamentos coletivos imprevisíveis — como 'capability bleed', injeção de prompt entre agentes e falhas sistêmicas por contaminação de memória — que não são capturados por benchmarks atuais de segurança.

As propostas devem desenvolver 'sandboxes' reprodutíveis (ex.: mercados virtuais simulados, ecossistemas multi-organizacionais) capazes de testar cenários reais de interação entre agentes baseados em modelos como GPT-5.6, Claude Opus 4 e Gemini 3. O prazo final para submissão é 8 de agosto de 2026, com anúncio dos selecionados no outono de 2026. O DeepMind já testa essas dinâmicas com frameworks próprios, como Concordia (para interações linguísticas entre agentes) e Melting Pot (para dilemas de cooperação), ambos integrados ao seu Conselho de Segurança de AGI e ao Frontier Model Forum.

A segurança de IA multi-agente deixou de ser uma especulação teórica: já há sistemas em produção que orquestram múltiplos agentes especializados (ex.: um para análise financeira, outro para compliance, outro para comunicação com clientes), todos alimentados por modelos avançados como GPT-5.6, Claude Opus 4 e Gemini 3. Quando esses agentes operam em rede — especialmente se treinados com dados e objetivos divergentes — surgem riscos novos e invisíveis: flutuações de preços em mercados simulados, colapsos de coordenação em cadeias logísticas automatizadas ou até manipulação de resultados em ambientes colaborativos. Esses cenários não são detectáveis pelas ferramentas de avaliação atuais, projetadas para modelos monolíticos, o que torna urgente o desenvolvimento de metodologias específicas para testar GPT-5.6 em modo multi-agente, Claude Opus 4 em ambientes cooperativos e Gemini 3 em fluxos de trabalho distribuídos.

Desenvolvedores e equipes de MLOps precisam adaptar suas práticas imediatamente: testes unitários e validações de safety individuais (como os feitos para GPT-5.6 ou Gemini 3 isoladamente) tornam-se insuficientes. A nova onda exige 'testbeds' que simulem interações reais entre agentes — por exemplo, um agente com prompt injection malicioso influenciando outro baseado em Claude Opus 4, ou falhas de contexto propagadas entre instâncias de GPT-5.6 em diferentes domínios. Ferramentas como LangChain e AutoGen já permitem orquestração multi-agente, mas carecem de camadas nativas de monitoramento de comportamento emergente. O fundo do DeepMind estimula justamente a criação dessas camadas — como métricas de 'coerência coletiva', detecção de 'acordos implícitos' entre agentes e sandboxing de transações descentralizadas — fundamentais para quem já opera com GPT-5.6, Claude Opus 4 ou Gemini 3 em arquiteturas distribuídas.