DiScoFormer: Um único transformer para densidade e score entre distribuições

O DiScoFormer (Density and Score Transformer) é uma arquitetura de transformer unificada, equivariante e plug-in que estima densidade e score, o gradiente do log-densidade, a partir de amostras i.i.d., sem retreinamento por nova distribuição. Diferentemente de estimadores clássicos como KDE, que falham na maldição da dimensionalidade, ou modelos neurais de score-matching, que exigem treino específico para cada tarefa, o DiScoFormer generaliza entre distribuições, tamanhos de amostra e dimensões. Ele usa cross-attention para avaliar densidade e score em pontos arbitrários, com provas analíticas mostrando que uma cabeça de atenção recupera pesos KDE normalizados, posicionando-o como uma generalização funcional, não uma substituição.

Desenvolvido por Vasily Ilin, Peter Sushko e Ranjay Krishna, o modelo foi aceito para apresentação oral na ICML 2026. A versão mais recente no arXiv (v4) data de 2 de junho de 2026, com submissão inicial em 8 de novembro de 2025 (arXiv:2511.05924). O treinamento usa Gaussian Mixture Models (GMMs) gerados dinamicamente por lote, aproveitando suas fórmulas fechadas de densidade e score para supervisão exata, sem aproximações ou rótulos empíricos.

O DiScoFormer resolve um gargalo transversal: score e densidade são necessários em múltiplos domínios, desde difusão generativa (Stable Diffusion, DALL-E) até simulação de plasma e inferência Bayesiana, mas métodos atuais exigem reengenharia por caso. Um único modelo pré-treinado que funciona 'fora da caixa' reduz drasticamente custo computacional, tempo de desenvolvimento e dependência de dados rotulados. Em 100 dimensões, ele reduz erro de score em ~6,5× e erro de densidade em >37× frente ao melhor KDE ajustado manualmente, e escala com mais amostras, enquanto KDE trava em memória. Isso não é apenas uma melhoria incremental: é uma mudança de paradigma na estimativa não paramétrica.

Para engenheiros e pesquisadores, o DiScoFormer atua como um 'score oracle' pronto para uso: basta carregar o modelo pré-treinado e passar novas amostras, sem fine-tuning, sem ajuste de hiperparâmetros por tarefa. Ele já suporta aplicações diretas em resolvedores de equações de Fokker-Planck, estimativa de entropia e informação de Fisher, além de servir como base para métodos de partículas adaptativos. Sua equivariância de permutação e afim garante robustez em dados estruturados; invariância de rotação é obtida via aumento de dados e mecanismo de clareamento especializado. A arquitetura é open-source? Não há confirmação pública de código liberado até 29 de junho de 2026, o artigo ainda não menciona repositório oficial.