O papel emergente dos chips com arquitetura SRAM na inferência de IA

Chips focados em SRAM , como os da Cerebras e Groq, estão ganhando destaque devido às suas vantagens em cargas de trabalho de inferência de IA, especialmente na minimização da latência e no aumento do throughput em comparação com GPUs tradicionais. Essa mudança é impulsionada pela demanda por arquiteturas de memória near-compute, que oferecem acesso a dados mais rápido do que abordagens far-compute como o DRAM. O desafio reside no equilíbrio entre largura de banda da memória e capacidade de compute, levando a novas estratégias de hardware desagregado que otimizam tanto as fases de prefill quanto de decode de tarefas de IA em diversas plataformas de hardware.