Hardware especializado volta ao centro do debate sobre inference de IA

O texto da a16z parte de uma comparação histórica. Nos anos 1990, os microprocessadores de uso geral (os "killer micros") venceram arquiteturas especializadas como processadores vetoriais, MPPs e Lisp machines. O motivo foi um ciclo: generalidade gera volume, volume financia desempenho, e desempenho reforça a generalidade. Além disso, as ideias dos especialistas sobreviveram dentro das CPUs, como SSE e AVX.

O argumento muda hoje porque o Dennard scaling acabou. A escala de tensão parou por volta de 2005, e o custo por transistor estagnou por volta de 2012. A "memory wall" piora o quadro: segundo David Patterson, o compute das GPUs NVIDIA subiu 80x de 2012 a 2022, enquanto a largura de banda de memória subiu 17x. Na análise de Bill Dally (Hot Chips 2023), dos 1000x de ganho em inference numa única GPU, só 2,5x vieram de processo (28nm para 5nm). Formatos numéricos mais simples (como FP32 para BF16) deram 16x, e novas instruções, 12,5x.

Com um relatório da Goldman Sachs de 2026 projetando demanda de tokens 24x maior entre 2026 e 2030 contra cerca de 2x de energia disponível, o autor defende dividir a inference por fase. O decode é limitado por largura de banda de memória e favorece chips com SRAM junto ao compute, como Groq (hoje o LPU da Nvidia), Cerebras e d-Matrix. A Nvidia já orquestra GPUs e LPUs em conjunto. O autor é fundador da Gimlet, que trabalha justamente com essa orquestração, o que vale ter em mente ao ler a tese. Ele admite que dividir workloads é difícil, tanto na infraestrutura física quanto na camada de software.

A cobertura do CEVIU mostra a tese amadurecendo. Em 30 de julho de 2026, a matéria "A ascensão do custo da computação e o dilema da IA" tratava do peso do gasto em inference. Em 11 de agosto de 2026, "Inovação em Hardware de IA: Estratégias Divergentes para Otimizar Inferência" já contrapunha Taalas e Groq. Em 16 de setembro de 2026, "A Revolução da Inferência de IA Redefine o Hardware" apontou chips especializados para decodificação e foco em largura de banda de memória. Agora o debate ganha moldura histórica e o argumento de dividir fases entre aceleradores diferentes. Em 21 de outubro de 2026, a matéria "A Disputa por Compute" descrevia oferta restrita por energia e financiamento, o mesmo limite que sustenta a tese atual.

Para quem desenvolve serviços de inference, a leitura é que o hardware deixa de ser detalhe de infraestrutura. Se prefill e decode rodarem em chips diferentes, a pilha de software precisa lidar com isso, e a complexidade de deployment sobe. Por outro lado, se as GPUs absorverem as ideias que funcionarem, como fizeram as CPUs com SSE e AVX, apostar cedo em um acelerador específico pode não compensar. Vale manter a camada de serviço portátil.