Avaliações de IA se tornam o novo gargalo de compute

Os custos de avaliação de IA escalaram, tornando-se um gargalo de compute significativo, comparável ou até superior aos custos de treinamento, com algumas execuções custando dezenas de milhares de dólares. A área enfrenta uma distribuição desigual de custos entre modelos e tarefas, evidenciando ineficiências e a necessidade de abordagens mais econômicas, como documentação padronizada e reuso de dados.

Sem a devida atenção a esses desafios, o processo de avaliação permanece caro, dificultando o acesso igualitário e prejudicando a validação externa na pesquisa em IA.