Ai2 lança StateBench, benchmark que mede como modelos de linguagem rastreiam mudanças de estado em contextos longos

O StateBench é um benchmark de rastreio de estado em contexto longo, lançado pela Ai2 com relatório técnico, dados e código. A ideia é medir se o modelo acompanha o que acontece com uma entidade conforme o documento avança. Em código, isso é variável atribuída e reatribuída. Em narrativa, é o objeto que muda de mãos.

São quatro níveis, baseados na teoria de Krohn, Rhodes: R-trivial (atribuição imutável), aperiodic (reatribuição por valor), soluble (atualizações autorreferentes, como x = x + 5) e general finite (atribuição por referência, como o problema S₅ de trocas entre cinco objetos). Para comparar com justiça, a Ai2 parte de uma sequência general finite e deriva três versões mais fáceis, com o mesmo número de variáveis e valores distintos. Só o tipo de atribuição muda.

Nos modelos abertos pré-treinados (Olmo 3, transformer, e Olmo Hybrid, com camadas Gated DeltaNet, além de versões de 275 milhões e 2,7 bilhões de parâmetros), quase todos foram bem em r-trivial, perderam precisão em aperiodic com entradas maiores e ficaram no acaso em general finite. O formato importou: os modelos de 275 milhões ficaram perto do teto em problemas r-trivial no estilo RULER e perto do acaso nos mesmos problemas como edições de planilha.

Gemini 3.8 Flash, Claude Opus 5.5 e GPT-6 Sol e Luna foram bem em r-trivial e aperiodic, mas a acurácia despencou em soluble e general finite, chegando a 13% ou menos nos maiores problemas general finite. Com treino direto na tarefa (modelos de 275 milhões treinados com até 256 atribuições e testados com até 64 mil), Gated DeltaNet e híbridos generalizaram quase perfeitamente nos três primeiros níveis. Transformers degradaram e nunca aprenderam o general finite. A Ai2 aponta limites: o framework assume número fixo de variáveis e a posição exata do Gated DeltaNet com atualização mais restrita na hierarquia segue em aberto.

Para quem escolhe arquitetura ou avalia modelos para agentes e leitura de código, a leitura é que nota alta em recuperação simples não garante rastreio de cadeias de mudança. Se o seu caso envolve estado que evolui por referência, vale testar com entradas longas, e não só com busca do valor mais recente.