Mapa de benchmarks aponta que a maior parte do trabalho nos EUA fica fora da medição de IA

A Mercor montou o Benchmark Map cruzando 29 benchmarks de IA, escolhidos por qualidade e relevância econômica, com a taxonomia O*NET do Departamento do Trabalho dos EUA. A base tem 923 ocupações, agrupadas em 22 famílias, e 18.797 tarefas. Um juiz baseado em LLM marca cada prompt dos benchmarks com as tarefas O*NET correspondentes (um prompt pode mapear várias tarefas). Uma tarefa conta como coberta quando tem pelo menos 5 prompts associados.

O resultado: só 208 das 923 ocupações têm ao menos uma tarefa com 5 prompts, e 6 das 22 famílias não têm nenhuma. Combinando a cobertura com estimativas de tempo de trabalho por tarefa (de Hatgis-Kessell et al., também derivadas de LLM), a Mercor estima que 90% das horas de trabalho nos EUA caem em tarefas com pouca ou nenhuma cobertura. A cobertura não é aleatória: tarefas expostas à IA têm cerca de 6 vezes mais chance de aparecer em benchmarks, e, mesmo controlando a exposição, ocupações com maior massa salarial anual aparecem mais. Tarefas de maior importância no O*NET são 6 a 10 vezes mais representadas que as menos importantes. Exemplo da própria análise: advogados estão bem cobertos, mas secretários jurídicos e escrivães de tribunal, quase nada.

Os autores tratam os números como provisórios. A lista de 29 benchmarks é incompleta, o que tende a subestimar a cobertura. Limitar benchmarks por família reduz a cobertura estimada em áreas como engenharia de software. Excluir benchmarks saturados também pesa, e há subjetividade em critérios como "Economic Realism". Num teste com os benchmarks APEX em quatro ocupações (banco de investimento, direito, contabilidade e engenharia de software), ponderar por tarefa O*NET mudou pouco os scores, mas menos de um terço das tarefas relevantes tinha cobertura suficiente para entrar no cálculo.

O tema já tinha aparecido no CEVIU. Em 19 de outubro de 2026, o CEVIU noticiou "Mapeando o Desconhecido: A Lacuna da IA nos Benchmarks de Mercado de Trabalho dos EUA", com a mesma conclusão central sobre os 90% das horas fora do escopo dos benchmarks. A cobertura de agora detalha o método e as ressalvas: contagem de ocupações cobertas, o critério de 5 prompts, os vieses de seleção e o teste de ponderação com o APEX.

Há também contexto de benchmarks em geral. Em 24 de setembro de 2026, o CEVIU noticiou "Auditoria revela falhas em benchmarks de IA, questionando performance real dos modelos", sobre falhas de validade em conjuntos existentes. Em 8 de abril de 2026, saiu "Estamos ficando sem benchmarks para delimitar as capacidades da IA", sobre saturação da suíte Time Horizon da METR. Os dois temas conversam com as ressalvas de qualidade e saturação do mapa da Mercor.

Para quem trabalha com dados e avaliação de modelos, o recado é de modelagem: nota média de benchmark não equivale a desempenho numa ocupação. Quem escolhe modelo para um fluxo de trabalho fora de software, finanças e direito deve supor que há pouca evidência pública para o seu caso e montar avaliação interna. O mapa também serve de exemplo de como amostragem enviesada (por salário, exposição e importância) distorce qualquer métrica agregada.