Desvendando a Inference em Modelos de Linguagem (LLMs)

Este artigo detalha o pipeline de inference, desde a tokenization e embeddings, passando pelas camadas de self-attention empilhadas. Em seguida, divide a geração em duas fases distintas na mesma GPU: o prefill, limitado por compute, que processa todos os tokens de entrada em paralelo, e o decode, limitado por memória, que emite um token por vez.