Como os modelos de linguagem grandes se tornaram o que são? O papel dos Transformers e do pré-treinamento no GPT

Modelos de linguagem grandes (LLMs) estão se tornando um dos maiores projetos de infraestrutura computacional já vistos. Este artigo é a primeira parte de uma série sobre a arquitetura de LLMs e suas implicações para o raciocínio. Ele explora o motivo pelo qual a arquitetura transformer foi tão impactante para os LLMs.