Inference engineering: a especialidade que faz IA rodar rápido, barato e bem na prática

A engenharia de inference deixou de ser um nicho de laboratórios e virou a principal frente de otimização de custos em IA: em 2026, ela já responde por cerca de dois terços de todo o poder computacional de IA usado nas empresas. Até 2027, as cargas de trabalho de inference devem superar as de treinamento como maior demanda em data centers, e até 2028, mais de 80% dos gastos com infraestrutura de IA serão para inference.

O que impulsionou essa virada foi a explosão real de modelos abertos: a Hugging Face ultrapassou 2 milhões de modelos públicos em outubro de 2025, o segundo milhão chegou em apenas 335 dias, contra mais de 1.000 dias para o primeiro. Isso não é só volume: modelos como DeepSeek V3 fecharam a lacuna funcional com os fechados, tornando o self-hosting economicamente viável, com reduções de até 94% nos custos, como mostrou a Wayfair em dezembro de 2025, seguida por mais 90% em março de 2026. A economia não é abstrata: o mercado global de chips para inference deve crescer a 27,8% ao ano até 2034, e o de serviços de inference, a 43,8%, prova de que a otimização deixou de ser opcional e virou métrica de sobrevivência.

Em abril de 2026, o CEVIU já detalhava o trilema orthogonal entre throughput, latência e custo como o cerne da engenharia de inference. Hoje, esse trilema não é mais teórico: ele está sendo resolvido com técnicas operacionais concretas em produção. A grande mudança desde então é a migração da teoria para a arquitetura escalável, como a desagregação prefill/decode implementada em março de 2026 pela AWS com Cerebras, usando chips Trainium para prefill e CS-3 (com 900.000 núcleos) para decode. Também houve amadurecimento prático da quantização sub-4-bit e da decodificação especulativa avançada (EAGLE-3, P-EAGLE), que antes eram experimentos acadêmicos e agora aparecem em serviços como os AI Overviews do Google e no Kimi da Moonshot AI.

Porque o custo por token caiu até 900 vezes por ano em alguns casos, mas o gasto total das empresas com IA disparou, de US$ 1,2 mi em 2024 para US$ 7 mi em média em 2026. O motivo? Fluxos de trabalho agentivos consomem de 5 a 30 vezes mais tokens que prompts simples. Sem inference engineering, cada nova camada de automação vira uma bomba financeária. E não é só dinheiro: servidores com LLMs consomem 30, 100 kW por rack, quase 10× mais que servidores tradicionais. Otimizar não é luxo. É evitar colapso térmico, apagão de orçamento e degradação silenciosa da qualidade da saída.