Como a Inference em LLMs Funciona

Este artigo detalha o pipeline de inference, desde a tokenization e embeddings até as camadas de self-attention empilhadas. Em seguida, divide a geração em duas fases distintas na mesma GPU: o prefill compute-bound que processa todos os tokens de entrada em paralelo e o decode memory-bound que emite um token por vez.