【Diffusion】Denoising Diffusion Probabilistic Models (DDPM)小白入门指南

DDPM即去噪扩散概率模型（Denoising Diffusion Probabilistic Models），是一种生成式模型，在图像生成、视频生成等领域有广泛应用。

在 AE 之后，出现了 DAE，也就是 Denoising Autoencoder，DAE 与 AE 的流程也非常类似，唯一的区别在于编码器的输入，AE 的编码器的输入是原始的高维向量，而 DAE 的编码器的输入是对原始高维向量加入噪声扰动之后的高维向量，DAE 就是希望把加了噪声的高维向量恢复成原始的高维向量，这个过程有点像是对高维向量去噪，所以就叫 Denoising Autoencoder。是从原始图像分布中抽取的一个初始样本，然后每次叠加少量的噪声，生成一系列的带噪图像，扩散与采样过程的程序。

Diffusion Model 简要理解学习，不需要复杂的数学过程。

文章目录概主要内容Diffusion modelsreverse processforward process变分界损失求解LtL_{t}Lt​L0L_0L0​最后的算法参数代码 Ho J., Jain A. and Abbeel P. Denoising diffusion probabilistic models. In Advances in Neural Information Processing Systems (NIPS), 2020. [Page E. Approximating to

这篇文章就是所谓的DDPM前向扩散过程之和前一步有关，是一阶马尔可夫链，是图像和标准高斯噪声I的加权，认为方差全部来自I，并且多步可以通过连乘合并为一步：反向的过程也是类似的形式：并且由贝叶斯公式，并且贝叶斯中三个概率都是高斯分布，可以得到：首先明确扩散时的一步转移公式。表现形式为信号以某一系数进行衰减，同时加一个高斯噪声（高斯噪声为加性信号无关的高斯噪声）。因为本质就是信号与高斯噪声的alpha blending，所以就需要考虑权重的选择。特别的是前一个状态的信号 和噪声的权重之和不是1，而是他们两个平

DDPM推导以及代码实现

Qxt​∣xt−1​前排提示：本片笔记纯属自己写给自己看，里面有不少自己的理解和引用，如有侵权请删除联系：对一张已有的图片先进行前向加噪，通过概率论数学推导发现反向生成需要预测噪声，所以让一个神经网络去学习这个加噪过程的规律，之后取一个随机噪音，结合这个网络进行逐步去噪完成反向生成题外话：怎么生成服从高斯分布的数据 （设U1​U2​相互独立且服从均匀分布U01，令R−2logU1​​θ2πU2​,则XRcosθYRs。

介绍 DDPM( Denoising Diffusion Probabilistic Model )的算法原理

我们介绍了利用扩散概率模型获得的高质量图像合成结果，扩散概率模型是一类受非平衡态热力学启发的潜在变量模型。我们的最佳结果是通过在加权变分约束上进行训练获得的，而加权变分约束是根据扩散概率模型和去噪分数匹配与朗格文动力学之间的新联系设计的。在无条件的 CIFAR10 数据集上，我们获得了 9.46 分的入门分数和 3.17 分的先进 FID 分数。在 256x256 LSUN 上，我们获得了与 ProgressiveGAN 类似的样本质量。

本文根据2020年《Denoising Diffusion Probabilistic Models》翻译总结的，即DDPM，去噪扩散概率模型。

DDPM阅读笔记

我看见你竭尽全力地奔跑,只为了当初兑现当初许下的约定。我才确信，你想要的，从始至终都是和我在一起的未来。——《崩坏3》德莉莎·阿波卡利斯(月下誓约·予爱以心)

扩散概率模型(为方便起见，我们将其称为“扩散模型”)是一种参数化的马尔可夫链，使用变分推理训练产生有限时间后与数据匹配的样本。学习该链的跃迁来逆转扩散过程，这是一个马尔可夫链，逐步向采样的相反方向的数据添加噪声，直到信号被破坏。当扩散由少量高斯噪声组成时，将采样链跃迁设置为条件高斯也就足够了，允许特别简单的神经网络参数化。

首先, 在进行具体的技术性展开之前，需要回顾下Diffusion Model是什么：如下图所示，可以简单将MidJourney, Stable Diffusion, ImageGen, DALLE-2这种Diffusion Model理解为从噪声中生成图像(generate images from noise)的一种模型。生成的数据和训练的数据类似(从概率论的角度上来说，就是生成模型的重点是模拟训练数据的分布。