Generative Adversarial Nets论文阅读笔记

yy2050645

已于 2022-10-05 17:57:22 修改

阅读量1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：算法文章标签：论文阅读机器学习深度学习

于 2020-02-05 23:36:06 首次发布

本文链接：https://blog.csdn.net/yy2050645/article/details/104185030

先附上本人使用pytorch实现的GAN：

https://github.com/1991yuyang/GAN

如果觉得有用大家可以给个star。

这篇博客用于记录Generative Adversarial Nets这篇论文的阅读与理解。对于这篇论文，第一感觉就是数学推导很多，于是下载了一些其他有关GAN的论文，发现GAN系列的论文的一大特点就是基本都是数学推导，因此，第一眼看上去还是比较抵触的，不过还是硬着头皮看了下来。

废话不多说，下面就介绍GAN的基本原理。

一.摘要

摘要部分主要说明了，作者通过一个对抗训练过程来估计生成模型，其过程如下：首先需要建立一个生成模型G用于捕捉数据分布，其次还需要建立一个判别模型D用于给出一个样本是来自于真实样本而非生成器G生成的假样本的概率。而作为生成器，希望其生成的假样本越逼真越好，因此其训练目标就是使得判别器D犯错误的概率越大越好，也就是将G生成的样本大概率的判别为真样本。对于所有的G和D，存在唯一解，G的唯一解能够回复真实数据的分布；而D的唯一解就是不能够判别样本是真实样本还是生成器G生成的样本，即给出的概率为0.5。

以上这个过程类似于假画作者和鉴宝专家，假画作者一开始画工拙劣，其画作难以骗过鉴宝专家。于是假画作者便提升自己的画功，随后能够成功骗过鉴宝专家，而鉴宝专家随后也提升了自身的鉴宝能力，便又能够识破假画作者的画作。如此循环往复，最后假画作者便可以创作出一幅足够真的假画。假画作者就是生成器G，而鉴宝专家就是判别器D。

二.对抗网络

如上图所示，通过为生成器输入符合某种先验分布 $p_z$ 的随机噪音z，生成器产生出假的图片，将假图片和真图片同时输入至判别器，判别器针对每个样本输出0或1，如果输出1则表示对应样本为真实数据采样得到，如果输出0则表示为生成器生成的假样本。这里我们使用 $p_g$ 表示生成器生成的样本空间分布，使用 $p_{data}$ 表示真实样本分布。对于生成器G的训练目标是使得 $p_g$ 尽可能的接近 $p_{data}$ ，即最小化log(1-D(G(z)))，这是因为我们希望生成器生成的样本足够逼真骗过判别器，其中G(z)是输入随机噪音z生成器G生成的服从分布 $p_{g}$ 的假图片，如果能够骗过判别器，则D(G(z))便会输出1，此时(1-D(G(z)))为0，而log(1-D(G(z)))则为负无穷。而判别器D的训练目标是能够准确区分真实样本和生成的假样本，实际上就是最大化log(D(x))+log(1-D(G(z)))，这是因为，当判别器能够正确区分真样本和假样本时，D(x)会输出1，其中x是来自于真实样本分布的样本，而D(G(z))会输出0，此时表达式能够达到最大值0。通过数学表达式表示训练目标如下所示：