Mapeando o Desconhecido: A Lacuna da IA nos Benchmarks de Mercado de Trabalho dos EUA

O projeto Benchmark Map, da Mercor, joga luz sobre uma lacuna crítica na avaliação de modelos de IA: 90% das horas de trabalho americanas escapam dos atuais benchmarks. Isso significa que, na prática, temos dificuldade em saber quão bons os modelos de IA realmente são nas tarefas que os trabalhadores dos EUA executam. O estudo se baseia na taxonomia O*NET, do Departamento de Trabalho dos EUA, que detalha 923 ocupações e 18.797 tarefas.

A metodologia incluiu uma lista inicial de 29 benchmarks, com um juiz de IA (LLM judge) mapeando prompts para tarefas O*NET. A análise mostra que os benchmarks se concentram desproporcionalmente em tarefas consideradas de alta exposição à IA e em ocupações com salários maiores. Por exemplo, tarefas de advogados com alta exposição à IA são bem cobertas, mas tarefas de secretários jurídicos, com exposição semelhante, não são. Isso cria pontos cegos sobre o impacto da IA em setores inteiros da economia.

A cobertura anterior do CEVIU já vinha alertando para a inadequação dos métodos tradicionais de avaliação da IA. Em agosto de 2026, a matéria “Avaliando a IA: Por que os benchmarks tradicionais já não capturam a capacidade real dos modelos?” discutia essa lacuna. Agora, o Benchmark Map não só confirma essa percepção, mas quantifica o problema, apontando que 90% das horas de trabalho estão fora do escopo.

Apesar dessa constatação sistêmica, a comunidade de IA se move para preencher algumas dessas lacunas. O CEVIU noticiou, em outubro de 2026, o ATLAS, um novo marco para avaliar agentes de busca com IA na web. Também em setembro de 2026, o benchmark Real-SWE surgiu para desafiar modelos de IA em bases de código empresariais reais. Essas iniciativas mostram uma evolução em benchmarks mais realistas, mas ainda há um caminho longo para cobrir a vasta diversidade do mercado de trabalho.

A falta de benchmarks representativos impede uma avaliação precisa do impacto da IA na economia. Empresas não conseguem escolher modelos que realmente atendam suas necessidades. Formuladores de políticas carecem de dados para prever o impacto econômico. E trabalhadores têm dificuldade em planejar suas carreiras frente à evolução da IA.

Além disso, como já abordamos em março de 2026 na matéria “90% do Trabalho Especializado Não Pode Ser Verificado pelos Métodos Atuais de Treinamento de IA”, o trabalho que exige julgamento subjetivo, comum em muitas profissões, é difícil de ser avaliado pelos métodos atuais. O Benchmark Map reforça que, sem dados mais abrangentes, a IA corre o risco de evoluir sem entender plenamente suas próprias capacidades e limitações no mundo real.