Engenharia de inference para LLMs: como otimizar prefill e decode com trade-offs técnicos

O prefill e o decode não são só fases distintas, são dois mundos físicos diferentes dentro da mesma GPU. Prefill é um surto de cálculo paralelo: todos os tokens do prompt passam por todas as camadas ao mesmo tempo, saturando as unidades de FP16/FP8 da GPU. Decode é um loop sequencial que depende inteiramente da velocidade com que os pesos saem da VRAM para as unidades de cálculo, e aí é que entram as arquiteturas Blackwell, com suporte nativo a NVFP4 e largura de banda de memória de até 2,4 TB/s. Em 2026, isso deixou de ser teoria: modelos de 70B em INT4 rodam em uma única GPU de 96GB, e o AutoQ do TensorFlow reduziu modelos sem perda perceptível de qualidade, tornando a quantização operacionalmente trivial para equipes de infra.

A decodificação especulativa evoluiu além do draft-model básico: o Saguaro (SSD), lançado em março, usa um segundo nível de especulação sobre o rascunho, como um modelo prevendo o que o rascunho vai prever. Isso elevou a taxa de aceitação MTP-1 do DeepSeek V3 para >80%, com ganhos reais de 1,8x em TPS. E a desagregação deixou de ser conceito: o llm-d, aceito no CNCF Sandbox em março, já roda em produção com aumento de 70% em TPS sob carga real, porque separa não só os recursos, mas as métricas de escalabilidade: prefill escala com FLOPs, decode escala com bandwidth, e cada um tem seu próprio orçamento de custo.

Em abril, CEVIU destacou o trilema throughput-latência-custo como estrutura central. Hoje, essa tensão foi parcialmente dissolvida por técnicas que atacam mais de um vetor simultaneamente: o prefix caching reduz tanto latência quanto custo (tokens cacheados têm preço menor), e a desagregação permite escalar prefill e decode independentemente, o que antes exigia compromisso rígido entre TTFT e TPS. Também em abril, falamos de balanceamento de carga ciente de cache; agora, sabemos que roteamento round-robin degrada acerto de cache em até 90%, mas frameworks como llm-d usam cache-aware routing embutido, mantendo taxas de acerto acima de 85% mesmo com milhares de requisições por segundo.

Porque inferência deixou de ser um problema de 'rodar o modelo' e virou um problema de engenharia de sistema em camadas: desde o formato dos pesos (INT4/NVFP4) até a topologia de rede entre GPUs (NVLink vs RoCE). Um time de dev que não entende o impacto do posicionamento de variáveis no prompt sobre o prefix caching está pagando 3x mais por tokens de entrada. Quem ignora que o Saguaro exige ajuste fino de temperatura no draft model perde metade do ganho de throughput. E quem ainda dimensiona servidores LLM como se fossem APIs REST está jogando dinheiro fora, a economia de 80% com self-hosting só existe com otimização intencional em todas as seis camadas.