[论文阅读] 2019 NeurIPS - Generative modeling by estimating gradients of the data distribution

已于 2022-02-08 21:46:41 修改
阅读量2.9k 收藏 8
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 我的科研之路~ 文章标签： 机器学习 深度学习 人工智能
于 2021-12-20 10:29:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36160277/article/details/122035705
本文介绍了一种创新的生成式模型方法，通过估计数据分布的梯度而非直接建模概率密度函数来实现。这种方法避免了传统生成模型中的归一化难题，并提出了slicedscorematching技术以提高效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

📑[阅读笔记]Generative modeling by estimating gradients of the data distribution

本文创造性的使用积分函数来学习训练数据的分布，并提出sliced score matching解决了传统score matching中存在的性能问题。

🙋‍♂️张同学 📧zhangruiyuan@zju.edu.cn 有问题请联系我~

本文的目录鸭~

⚽️一、生成式模型应用

  • 🚗已经大量应用，比如人脸生成模型中，生成的人脸已经和真实的人脸相差无几。

  • 🚕自然语言处理，一个语言模型本质上就是一个基于语言的生成式模型。

🏀二、生成式模型介绍

  • 🚗一般的生成模型

    • 🚜从一个数据集中来训练，这个数据集中有很多数据样本

    • 🚛生成模型是一个概率分布的集合

    • 🚚给定一个训练集，我们的目的是找到一个最佳的分布的模型

    • 🚐得到这个模型之后，我们可以进行源源不断的采样来获得一个新样本

      image-20211215185453459

🏈三、生成模型的分类

生成式模型是一种对数据分布的表示，根据不同的表示，可以有以下生成式模型的分类：

  • 🚗隐式的生成式模型：GUN

    生成一个随机噪声，将这个噪声通过一个神经网络映射到一个样本上，比如可以是一张图片。

    image-20211215194815932
    • 🚜从噪声生成样本的过程就是一个从分布中进行采样的过程
    • 🚛优点
      • 灵活的结构
      • 比较高质量的样本质量
    • 🚚缺点
      • 很难训练一个模型：对抗训练难以调整、也不是很稳定
      • 没法去计算似然函数，所以没法比较不同隐式模型的好坏

  • 🚕显式的生成式模型

    通过直接表示这个分布的概率密度函数来表示分布：显示分布

    image-20211215195617731

    贝叶斯模型、等

    • 🚜优点
      • 可以用似然函数大小来比较不同模型好坏 # 这个似然函数是个什么概念？
    • 🚛缺点
      • 需要模型本身是归一化的 # 模型本身的归一化指的是什么？
      • 模型在训练的时候需要很快的计算似然函数，这个同时也制约了模型的表示能力。

⚾️四、本文主要工作

🍏本文提出一种全新的分布表示方法：

这个和显式的分布有什么区别？

模型要使用概率密度的导数进行表示
KaTeX parse error: Undefined control sequence: \grad at position 2: \̲g̲r̲a̲d̲_xlog(p(x)) =>…
image-20211215200649614

颜色表示概率密度函数，用向量场来表示积分函数。

结论 => 概率密度函数和积分函数，可以在可微的情况下表示同一种分布。 # 可微是为啥？

🍎为啥要使用积分函数：

作者认为

  • 概率密度函数表示的程度较低、没有积分函数灵活;
  • 使用积分函数就不需要计算归一化函数了
image-20211215201216456

通过训练一个积分函数的模型，

训练的损失函数是要求我们的向量场和数据分布的向量场一样

所以就需要计算两个向量场之间的距离 fisher divergence（这个距离不容易直接计算？依赖未知的积分函数对应的分布？？听不懂）

=> score matching不依赖于未知的积分函数的分布，但是这个不容易计算（尤其是在神经网络的模型中）

!= 但是不能用于大规模维度的计算

image-20211215201726722

🍐如何解决score matching算法低效的问题

sliced score matching: 将高维的向量场变成一个低维的标量场。

提出目标函数：sliced fisher divergence

=> 作者的工作实现了只进行一次反向即可完成训练。

image-20211215204715690

sliced score matching的实验结果极其迅速！且效果相当。

image-20211220100404042

效果相似

image-20211215205241863

🎾五、生成模型实验及展示效果

使用积分函数构建模型来构建新样本

image-20211215205329229

从积分函数中生成样本

image-20211215205536790

在数据较多的地方积分场比较好，在数据量比较少的地方积分场比较差：

image-20211215205759740

可以通过在原始数据中添加随机数来进行扰动
为什么要添加噪声呢？
添加噪声之后可以方便score matching计算，可以填补数据量少的地方。
所以最终的结果是使用多级噪声的原始数据进行训练。
采样时采用的是拉直满采样。

image-20211215205851731

展示效果

image-20211215211224364

🏐参考文献

  • 原文献：Song Y, Ermon S. Generative modeling by estimating gradients of the data distribution[J]. arXiv preprint arXiv:1907.05600, 2019.

  • 原作者的分享视频：https://www.techbeat.net/talk-info?id=509

  • GitHub源代码：https://github.com/ermongroup/ncsn?utm_source=catalyzex.com

【生成模型新方向】score-based generative models
zik的博客
04-06 1717
本文主要翻译自此领域先驱Song Yang博士(斯坦福大学博士)的博客。并且对于重要知识点给出了表格形式的整理汇总，方便记忆和理解！一言以蔽之：我们可以在大量噪声扰动的数据分布上（on a large number of noise-perturbed data distributions）学习得分函数score functions（对数概率密度函数的梯度gradients of log probability density functions），然后使用 Langevin 型采样生成样本。
【论文阅读笔记】NeurIPS2020文章列表Part2
zincrain的博客
12-09 6269
Online Multitask Learning with Long-Term Memory Fewer is More: A Deep Graph Metric Learning Perspective Using Fewer Proxies Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting On Reward-Free Reinforcement Learning with Linear Function A.
CS231n 2022PPT笔记- 生成模型Generative Modeling
iwill323的博客
08-24 1278
CS231n 笔记 2022PPT GAN VAE
Generative Modeling by Estimating Gradients of the Data Distribution
MTandHJ的博客
12-15 4459
文章目录概主要内容Langevin dynamicsScore MatchingDenoising Score MatchingNoise Conditional Score NetworksSlow mixing of Langevin dynamics损失函数Annealed Langevin dynamics细节代码 [Song Y. and Ermon S. Generative modeling by estimating gradients of the data distribution.
Generative Modeling by Estimating Gradients of the Data Distribution(paper reading)
qq_43800752的博客
12-09 1868
扩散模型，分数生成模型。
Generative Modeling by Estimating Gradients of the Data Distribution 论文笔记
weixin_46872424的博客
01-14 692
整篇论文给出了另外一种基于数据梯度的郎之万采样扩散模型，与DDPM本质上差不多但是思路上完全不同。从另外一个角度理解了对于扩散模型来说为什么需要添加噪声来进行更好的数据生成，实际上是为了更好地对图像分布梯度进行估计，Unet或者其他模型在估计噪声时实际上就是在估计当前数据的梯度，使得向数据概率大的方向进行移动。
论文学习 Generative Modeling by Estimating Gradients of the Data Distribution
weixin_55471672的博客
03-19 575
个人认为，这篇Song Yang大佬的文章虽然被网上很多人吹，然而我们还是应该避免捧杀，认真了解一下其文章的内容和思想，以及试图理解他是如何想到这种思路的。通过其论文引用，实际上也能发现Song神的学习路径，确实具备非常坚实的数学基础。至于这篇文章与DDPM（扩散模型）的关系，个人认为，这篇文章可以从理论上作为扩散模型有效的证据，或者说，从另一个角度，实现了与扩散模型相同的效果。十分厉害。论文连接。
Generative Modeling by Estimating Gradients of the.pdf
05-18
Generative Modeling by Estimating Gradients of the Data Distribution GENERATIVE MODELING BY ESTIMATING GRADIENTS OF THE DATA DISTRIBUTION 在机器学习领域中，生成模型（Generative Modeling）有着广泛的...
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
Re8 Generative Modeling by Estimating Gradients of the Data Distribution
weixin_44796129的博客
11-30 581
提出基于分数的模型框架，首先通过分数匹配估计数据密度的梯度，然后通过朗之万动力学生成样本，并提出通过训练噪声条件分数网络，并能生成高质量的图像。GAN隐式表示了生成器网络可以产生的所有对象的分布。通过近似最大似然直接学习分布的概率密度，如VAE。概率分布由其抽样过程的模型隐式表示，如GAN。
Generative Modeling by Estimating Gradients of the Data Distribution阅读笔记
icylling的专栏
12-14 1161
论文提出了一种生成模型，并将其用于图形生成任务。 论文先介绍了传统score-based generative modeling方法，然后分析传统score-based generative modeling存在的问题，最后提出解决问题的算法noise conditional score network。
论文阅读笔记：Generative Modeling by Estimating Gradients of the Data Distribution
最新发布
u010948546的博客
04-16 940
论文《Denoising Diffusion Implicit Models》来源：NeurIPS 2019。
扩散模型NCSN，使用分数匹配的生成模型，Generative Modeling by Estimating Gradients of the Data Distribution
vergilben的学习日记
05-10 1890
这是因为在环境空间中的大部分区域（非流形区域）可能根本没有数据点，因此在这些区域内无法有效地计算得分。分数匹配在这种情况下将无法提供一致的分数估计，因为它依赖于整个空间中数据的存在。举个例子，给定一个由一些特定形状或模式的点组成的数据集，如果所有的点都紧密地分布在一条细长的线上（所谓的“低维流形”），那么在这条线上的点，我们可以很好地估计他们的“得分”（数据点在数据分布中的梯度），类似于在山脉中找到最高点的路径。
Generative Modeling by Estimating Gradients of the Data Distribution论文阅读
zzfive的博客
12-04 483
Generative Modeling by Estimating Gradients of the Data Distribution论文阅读
通过估计数据分布的梯度进行生成建模——Generative Modeling by Estimating Gradients of the Data Distribution
weixin_51454889的博客
03-27 1107
本次周报聚焦于通过估计数据分布的梯度进行生成建模的理论与实践，系统学习了基于分数的生成模型的核心思想及其实现方法。基于分数的生成模型通过学习数据分布的分数函数（score function），结合朗之万动力学采样生成样本。周报首先介绍了分数函数的定义及分数匹配的基本方法，分析了传统基于分数建模的缺陷。随后，提出了利用多尺度噪声扰动数据分布的改进方法，并结合噪声条件分数网络（NCSN）和退火朗之万动力学实现高效的生成建模。此外，通过代码解析，详细说明了分数匹配的训练过程和退火朗之万采样法的实现。
[转载]Discriminative Modeling vs Generative Modeling
cs_xue的专栏
05-12 489
转自原文: Discriminative Modeling vs Generative Modeling 机器学习的算法或者模型的分类有很多种，其中有一种分法把模型分为 Discriminative Modeling （判别模型）和 Generative Modeling （生成模型）两种。为了写起来方便我们以下简称 DM 和 GM 。在一个基本的机器学习问题中
Generative Models(生成模型)简介
Sundrops的专栏
04-30 1万+
著名物理学家费曼说过: What I cannot create, I do not understand. 所以我们要真正做到了解图像影音等，就必须要能创造它们。 Pixel RNN 收集一大堆图片，然后利用这些图片开始训练这个图片生成模型，根据前面的像素预测接下来的像素，训练结束后随便给一个(或者若干)初始像素就能生成一幅图片。PixelRNN不仅work，而且在各种生成方法中...
MiniDSP车载声学之二：车载音频调试，DSP模块（Car Audio Tuning: DSP Modules and Their Use）
Li Kang 笔记本
07-23 4376
MiniDSP关于车载声学的测试一共有四篇文章，本文是对第三第四篇的总结。主要阐述了车载音频调试的基本步骤，均衡器设置技巧以及对各频带的分析。原文链接放在最后。
DDPM论文
03-08
### 关于DDPM（去噪扩散概率模型）的学术论文 去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPMs）是一类强大的生成模型，其核心思想在于通过一系列逐步加噪声的过程将数据分布映射到高斯白噪声上，在此过程中学习反向过程以便能够从纯噪声中重建原始数据[^1]。 对于寻找有关DDPM的具体学术资源而言，可以关注以下几篇具有代表性的研究文章： - Ho et al., 2020年发布的《Denoising Diffusion Probabilistic Models》深入探讨了该方法论的技术细节及其性能表现。这篇论文不仅介绍了理论框架还提供了实现技巧以及实验验证。 - Song 和 Ermon 的工作则进一步探索了分数匹配与时间重加权技术如何改进传统DDPM架构下的样本质量并加速训练效率；这方面的成果体现在他们合著的一系列论文当中，例如《Generative Modeling by Estimating Gradients of the Data Distribution》等。 此外，《Diffusion Models: 方法和应用的综合调查》也提供了一个全面视角来理解不同类型的扩散模型，包括但不限于DDPM的基础概念和发展趋势等内容[^2]。 为了获取最前沿的研究进展，建议定期查阅顶级会议如ICML、NeurIPS等相关领域内的最新发布情况，并利用Google Scholar或其他专业数据库进行更精确的主题检索。 ```python import arxiv search = arxiv.Search( query="denoising diffusion probabilistic models", max_results=5, ) for result in search.results(): print(result.title) ``` 上述Python脚本可以帮助快速找到最近几年内关于DDPM主题的一些高质量预印本资料。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值