Medindo o progresso em direção à AGI: Um framework cognitivo

A DeepMind não está só medindo AGI, está redefinindo o que significa 'medir' nesse campo. O novo framework não é mais um conjunto de provas isoladas, como MMLU ou BIG-bench, mas uma estrutura inspirada na psicologia experimental e na neurociência cognitiva: cada uma das 10 habilidades (como 'memória prospectiva' ou 'esquecimento intencional') tem subcategorias operacionalizáveis, tarefas validadas e linhas de base humanas coletadas com rigor demográfico. Isso transforma afirmações do tipo 'o modelo entende linguagem' em perguntas testáveis: ele retém informações para uso futuro como um adulto médio? Ele ajusta sua própria estratégia ao perceber erro, ou seja, exibe metacognição real?

O hackathon no Kaggle não é um complemento, mas parte integrante do protocolo: as cinco habilidades escolhidas (atenção, metacognição, funções executivas, aprendizado e cognição social) são justamente as que resistem a benchmarks tradicionais, porque exigem observação de processos, não só de resultados. A plataforma Community Benchmarks permite que pesquisadores publiquem testes com controle de variáveis, rastreamento de atenção ocular simulado, ou até sequências adaptativas de dificuldade, algo impossível em avaliações estáticas anteriores.

Isso muda a conversa sobre AGI de duas formas concretas: primeiro, desmonta a narrativa de 'progresso linear por escala', mostrando que melhorar raciocínio matemático não implica avanço em resolução de problemas sociais, e que lacunas em funções executivas podem ser gargalos críticos mesmo em modelos grandes. Segundo, cria um terreno comum para reguladores: se uma IA for avaliada como equivalente a um humano em cognição social, mas abaixo do limiar em inibição de impulsos, isso passa a ser um critério técnico para restrições de implantação, não uma opinião filosófica.