O Recurrent Transformer: Maior Profundidade Efetiva e Decodificação Eficiente

O Recurrent Transformer é uma arquitetura inovadora projetada para superar a profundidade temporal limitada dos Transformers padrão. Ao introduzir recorrência entre as camadas, o modelo utiliza uma combinação de pares chave-valor temporários e persistentes para permitir que cada camada mantenha uma memória interna continuamente atualizada. Este mecanismo capacita o modelo a realizar raciocínio complexo e iterativo em uma sequência sem a necessidade de grandes pilhas de camadas.