O papel emergente dos chips com arquitetura SRAM na inferência de IA

A SRAM não é nova, mas sua aplicação em larga escala para inferência de IA é. Enquanto as GPUs dependem de HBM, memória DRAM empilhada fora do chip, com latência de ~100 ns e consumo alto de energia no movimento de dados, os chips SRAM-centric como os da Cerebras (WSE-3), Groq (LPU) e d-Matrix (DIMC) colocam até dezenas de gigabytes de memória diretamente no die, com acesso em ~1 ns. Isso elimina o gargalo clássico da arquitetura von Neumann: o tráfego constante entre processador e memória. O trade-off é brutal: uma célula SRAM ocupa 5, 10× mais área que uma célula DRAM, limitando capacidade total. Mas para inferência, especialmente na fase de decode, onde cada token depende do anterior e a latência define a experiência do usuário, essa densidade de memória on-chip compensa com folga. A Taalas, por exemplo, 'hard-wired' o Llama 3.1 8B num único chip e atingiu 16.960 tokens/s, quase 50× mais que um B200. Não é só velocidade: é previsibilidade. A Groq garante execução determinística, sem variação de latência, algo impossível em clusters GPU sob carga variável.

O que está mudando agora é a desagregação funcional do pipeline de LLMs. Em vez de forçar 'prefill' e 'decode' no mesmo hardware, empresas como AWS e Cerebras estão separando as fases: Trainium (otimizado para computação massiva) faz o prefill; CS-3 (SRAM-rich) faz o decode. É uma mudança de filosofia, de 'um chip para tudo' para 'o chip certo na hora certa'. E isso já tem preço de mercado: a parceria OpenAI-Cerebras, de US$ 20 bilhões, não é só sobre potência bruta, mas sobre garantir baixo TTFT e alta taxa de token em escala global, algo que GPUs ainda não conseguem entregar de forma econômica.

Em 2026, pela primeira vez, o gasto global em infraestrutura de inferência supera o de treinamento, e deve chegar a US$ 72 bilhões até 2029, quase o dobro do treinamento (US$ 37 bilhões, segundo Gartner). Isso muda o foco do hardware: não basta treinar modelos maiores, é preciso servir milhões de usuários com baixa latência, baixo custo por token e consumo energético controlado. Chips SRAM-centric reduzem o movimento de dados, responsável por até 90% do consumo energético em GPUs, conforme patentes da Huawei e Fudan. Isso não é só eficiência: é viabilidade comercial. Um serviço de chat com 400 ms de TTFT e 80 tokens/s por usuário pode ter 3× mais churn que outro com 120 ms e 750 tokens/s. A arquitetura SRAM não vence todas as cargas, ela vence a que mais cresce: a interativa, em tempo real, no edge e no cloud.