Modelos de Linguagem de Diffusion Introspectivos

Modelos de linguagem de diffusion (DLMs) oferecem a promessa de que a geração paralela de tokens poderia quebrar o gargalo sequencial da decodificação autoregressive (AR). No entanto, os DLMs consistentemente ficam atrás dos modelos AR em qualidade. Essa lacuna decorre de uma falha fundamental de consistência introspectiva: modelos AR concordam com o que geram, enquanto DLMs frequentemente não.

O Introspective Diffusion Language Model (I-DLM) utiliza o introspective strided decoding (ISD) para verificar tokens gerados anteriormente enquanto avança novos no mesmo forward pass. Com gated LoRA, o ISD possibilita uma aceleração sem perdas bit-a-bit.