Revisão: Medindo a Capacidade da IA em Completar Tarefas Longas de Software

A métrica de "horizonte de tempo" mede o progresso da IA pelo tempo que um especialista humano leva para completar uma tarefa que um LLM agora pode resolver, com taxas de sucesso atualmente dobrando a cada sete meses. Embora isso sugira que IAs possam em breve lidar com tarefas de especialistas que duram um mês, esses benchmarks muitas vezes não consideram as realidades complexas e não-automatizadas do desenvolvimento de software real.