MinIO MemKV promete 95% de melhoria na utilização de GPU ao eliminar o 'recompute tax' da IA

O MemKV da MinIO é um armazenamento de contexto de memória em escala de petabytes para inference de IA, projetado para preservar e compartilhar o estado da sessão entre clusters de GPU. Ao mover o contexto diretamente de NVMe para o caminho de dados da IA via 800 GbE RDMA, ele aborda o problema do "recompute tax" e afirma alcançar mais de 95% de melhor utilização de GPU e cerca de 50% menos custo por token em cargas de trabalho de benchmark.