Por que está se tornando mais difícil medir o desempenho da IA

Os dados do grupo METR indicam que o progresso das APIs está avançando de forma exponencial. Alguns modelos atingem pontuações acima da linha de tendência anterior, sugerindo um progresso muito rápido. No entanto, apesar das capacidades, os comprimentos das tarefas ainda variam significativamente, tornando as medições do METR difíceis de usar como comparação de progresso. Embora modelos mais novos pareçam melhores, é difícil quantificar o quanto.