Blood on the Clocktower: o jogo de engano que testa o que outros benchmarks não mostram nas IAs

O post de Dwarkesh Patel usa Blood on the Clocktower, jogo de dedução social parecido com Werewolf e Mafia, como ambiente de avaliação. Há um time do bem e um do mal. O mal conhece os próprios membros, incluindo o Demônio. O bem não sabe quem é quem. A cada dia todos votam em alguém para executar, e a cada noite o Demônio mata um jogador. Quem testa o modelo precisa de narrativa plausível, blefe consistente e raciocínio coletivo sob informação possivelmente enganosa.

Para montar o benchmark, o autor gastou cerca de 20 mil dólares em créditos de API. O ranking vem de 386 partidas em que o time do bem é formado por cópias de um modelo e o do mal por cópias de outro. Segundo ele, o primeiro modelo de fronteira de 2026 foi o Claude Opus 4.6, em fevereiro, e o GPT-6 Astra, lançado em setembro, é o melhor até agora. A diferença é de cerca de 430 pontos Elo, o que dá ao Astra cerca de 92% de vitórias contra o Opus 4.6. Em março, o GPT-5.4 ainda estava atrás do Opus 4.6. Entre o GPT-5.4 e o Astra, os modelos da OpenAI ganharam 580 Elo (97% de vitórias do Astra contra o 5.4).

O ganho da OpenAI vem principalmente do lado do bem. Os modelos dela desconfiam mais de cada evidência isolada e a pesam junto do histórico do jogo. Os da Anthropic tendem a aceitar a informação ao pé da letra. No exemplo do Slayer, cujo tiro falhou porque a habilidade fora sabotada, os Claude liberaram o suspeito, enquanto os GPT não trataram o erro como prova e acabaram executando o Demônio correto. O autor também diz que o benchmark dificilmente satura, porque o nível exigido sobe com os modelos adversários. Um teste pequeno com time híbrido de Opus 5.5 e GPT-5.6 Sol (cerca de 130 partidas) foi um pouco pior, sem significância estatística. Para evitar viés, o Narrador humano foi trocado por um programático, essencialmente uma tabela de probabilidades, e o código está aberto.

Para quem avalia agentes, o recado é que enganar e detectar engano são capacidades medíveis, e hoje poucos benchmarks as cobrem. Como o teste depende de adversários, ele tende a acompanhar a fronteira em vez de ficar saturado, o que é uma leitura do que o autor relata. O custo de 20 mil dólares também mostra que esse tipo de avaliação multiagente não é barato de rodar em escala.