Qual a persistência do ônus do custo de inference?

Os custos de inference podem não representar um gargalo tão significativo para o progresso da IA . O custo para atingir um determinado nível de capacidade está diminuindo rapidamente, indicando que o ônus do custo de inference é mais transitório do que aparenta ao observar apenas os frontier models no momento de seu lançamento. Contudo, os dados sobre RL scaling ainda são limitados, o que dificulta tirar conclusões definitivas. Será crucial acompanhar a velocidade com que modelos mais baratos alcançam os níveis de capacidade de fronteira e como os custos de inference para tarefas fixas diminuem com o tempo.