Apresentando o AutoSP

O AutoSP automatiza a conversão de código padrão de treinamento de transformer em código de paralelismo de sequência, focado no treinamento de LLM de contexto longo, e é integrado ao DeepSpeed. Essa ferramenta permite o treinamento de sequências mais longas em múltiplas GPUs sem um overhead de runtime significativo, eliminando a necessidade de mudanças manuais complexas no código. Além disso, o AutoSP oferece uma estratégia avançada de activation-checkpointing para um melhor gerenciamento de memória, otimizando o desempenho com custo mínimo.