Em busca de bits desperdiçados: quanta informação os pesos de LLMs carregam?

Grande parte da inference em LLMs envolve a transferência de dados de um local para outro e, em seguida, o processamento desses dados quando chegam lá. O bottleneck mais frustrante no sistema ocorre quando as unidades de compute ficam ociosas porque o barramento de dados que as alimenta não é rápido o suficiente. A solução passa por transformar memória em compute. A quantization é um truque útil, mas não troca memória por compute de fato — ela transfere metade dos dados para um local para realizar o dobro da computação.