Lighthouse Attention: Aceleração de até 17x em Modelos de IA com Contexto Longo

O Lighthouse Attention, um mecanismo hierárquico de attention baseado em seleção, é até 17 vezes mais rápido em passes forward e backward do que os modelos de attention padrão em contextos grandes. Ele utiliza FlashAttention em uma sub-sequência densa, garantindo eficiência e compatibilidade com melhorias existentes. Ao possibilitar o treinamento eficiente de modelos com contexto longo e manter a competência de um dense model, o Lighthouse Attention alcança um aumento de velocidade de 1.4x a 1.7x no pré-treinamento, enquanto reduz os custos computacionais.