当自回归遇到Diffusion

Autoregressive Image Generation without Vector Quantization

一. 简介

机构：MIT，DeepMind，清华
代码：https://github.com/LTH14/mar
任务: 自回归图像生成
特点: 自回归建模tokens之间的相互依赖 + Diffusion Loss建模每个token的分布，能够不被约束在向量量化（vector-quantized）的表示内，而在continuous-valued tokens框架下实现
方法: Diffusion Loss，MAR

1.1 摘要

常规观点认为，用于图像生成的自回归模型通常伴随着向量量化（vector-quantized）的token。我们观察到，虽然使用离散值空间能够帮助表示类别分布，但这并不是自回归建模的必要条件。在这项工作中，我们提出使用扩散过程来建模每个token的概率分布，这使得我们能够在连续值空间中应用自回归模型。我们没有使用传统的分类交叉熵损失函数，而是定义了一种扩散损失函数来建模每个token的概率。这个