Como Escalar Seu Modelo

Este livro aborda a ciência da escalabilidade de modelos de linguagem. Ele explora o funcionamento de TPUs e GPUs, como esses componentes se comunicam, a execução de LLMs em hardware real e as técnicas de paralelização de modelos durante o treinamento e inference para operarem eficientemente em larga escala. A obra responde a questões sobre os custos do treinamento de um modelo, a memória necessária para o serving de modelos e outros tópicos relevantes.