Otimizando a Eficiência do Treino de IA com Effective Training Time da Meta

A Meta introduziu o Effective Training Time (ETT%) para medir a porcentagem do runtime de treino de ponta a ponta que é realmente dedicada ao aprendizado efetivo, evidenciando overheads como checkpointing e falhas. Esta publicação detalha otimizações em nível de sistema e no PyTorch que visam reduzir o tempo desperdiçado e aprimorar a eficiência do treino em larga escala.