Treinos finais representam minoria do gasto com compute em P&D

O treino final de um modelo é apenas a etapa final de um processo longo e caro. Antes dessa etapa, empresas queimam compute realizando experimentos em várias escalas, gerando dados sintéticos, testando ideias e treinando modelos não lançados. O custo completo do desenvolvimento de um modelo é muito mais alto que o custo do treino final de um modelo de fronteira. A maior parte do gasto está na exploração, não na execução. Empresas que aprendem com a concorrência podem replicar resultados por uma fração do custo original.