RPI e IBM propõem REACH: Nova arquitetura para correção de erros em HBM otimiza inferência de LLMs

A memória de alta largura de banda, a HBM, é fundamental para o desempenho de cargas de trabalho intensivas em dados, como os Large Language Models (LLMs). No entanto, à medida que a densidade da HBM aumenta, a correção de erros se torna mais crítica e desafiadora. A técnica tradicional de Error Correcting Code (ECC) geralmente introduz uma sobrecarga computacional significativa, um problema que o REACH, proposto pelo Rensselaer Polytechnic Institute (RPI) e pela IBM, busca resolver de forma inteligente. Esse novo controlador de memória foca em otimizar a inferência de LLMs.

O grande diferencial do REACH está em sua capacidade de adaptar a estratégia de ECC à natureza do acesso à memória durante a inferência de LLMs. Como a decodificação de LLMs é dominada por leituras sequenciais e poucas escritas, o REACH usa códigos internos mais leves para corrigir falhas comuns e, apenas quando necessário, ativa um código externo de longo alcance para blocos com erros mais persistentes. Isso permite agregar dados de forma mais eficiente, minimizando o custo operacional por acesso à memória e garantindo a integridade dos dados sem sacrificar a performance.

A inovação do REACH é crucial para o avanço da infraestrutura de IA. Com a crescente demanda por LLMs, a eficiência e a confiabilidade da memória HBM são gargalos críticos. Ao reduzir o overhead do ECC, o REACH permite que os sistemas de inferência de LLMs funcionem de forma mais rápida e com maior integridade de dados, diretamente impactando a escalabilidade e o custo-benefício de operações de IA em larga escala. Além disso, a parceria entre RPI e IBM, uma empresa que já explorou profundamente arquiteturas de LLMs como o Granite 4.2, sublinha a importância prática desta pesquisa para o mercado.