Como os 'large' language models se tornaram assim? O papel dos Transformers e do Pretraining no GPT

Os large language models estão se tornando um dos maiores projetos de infraestrutura computacional de todos os tempos. Este é o primeiro artigo de uma série sobre a arquitetura de LLMs e suas implicações para o raciocínio. Ele explora por que a arquitetura Transformer foi tão impactante para os LLMs.