笔记：Generative Adversarial Nets

最新推荐文章于 2022-12-15 16:55:33 发布

原创

最新推荐文章于 2022-12-15 16:55:33 发布 · 396 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #算法 #神经网络 #python #深度学习

本文详细介绍了生成对抗网络（GANs），包括其工作原理、价值函数、训练方法、最优解以及实验证明。通过博弈论的角度阐述了生成器与判别器的交互过程，展示了GANs在生成模拟数据上的潜力。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Generative Adversarial Nets

Summary

作者提出了一个生成式模型，采用多层感知机实现。将生成式模型与判别式模型共同训练，两者扮演零和博弈游戏的两个玩家。对于生成器Generator，需要生成足以骗过判别器的图形，对于判别器Discriminator，需要识别输入是来自真实数据还是生成数据。随着生成器G的训练，判别器的输出将稳定在$ \frac{1} {2} $ 。

Research Objective

设计一种生成式模型，生成足以媲美真实数据的模拟数据。

Problem Statement

价值函数如何定义
如何训练保证生成器与判别器都能够得到优化
最优解以及可收敛证明

Method(s)

价值函数：
$min_{G}max_{D}V(D,G)=E_{x \sim p_{data}(x)}[logD(x)]+E_{z \sim p_{z}(z)}[log(1-D(G(z)))]$

$p_{data}(x),p_{z}(z)$ 分别表示真实数据分布与随机噪声分布；D(x)为判别器输出，输出为[0-1]的概率值；G(z)为生成器输出，输出为生成模拟数据；对于判别器、生成器，需要使得价值函数朝向不同的方向变化。
训练方法：

生成器的输入数据 ${z^{1},...,z^{m}\}$ 来源于噪声 $p_g(z)$ ，真实数据 ${x^{1},...,x^{m}\}$ 为 $p_{data}(x)$ 中抽样所得。
训练时，由于需要将两个模型同步训练，故采用的训练方法为先保持生成器不变，沿着红框式子梯度上升的方向优化判别器D，训练k步后(论文中k=1)，再根据式2(蓝框)沿着梯度下降的方向优化生成器G。
这两个优化函数都是价值函数的变形，沿着红框函数梯度上升方向优化很好理解，因为要增强判别器的识别能力，沿着蓝框下降的方向训练生成器，是要提高生成器对判别器的误导能力。
判别器的全局最优解
判别器的优化方向是将价值函数最大化，对于
$\ ( 0 , 0 ) 函数 y → a l o g ( y ) + b l o g ( 1 − y ) 在 [ 0 , 1 ] 区间内取得最大值时 y = a a + b ，则 D ( G ) 的全局最优解为 D G ∗ ( x ) = p d a t a ( x ) p d a t a ( x ) + p g ( x ) V(G,D)=\int_{x}p_{data}(x)log(D(x))d_{x}+\int_zp_{z}(z)log(1-D(g(z)))dz \\ 将第二个积分中g(z)改写成x\\ 噪声分布p_z(z)改写为生成器输出分布p_g(x)\\ 积分对象改为x，则有 \\ V(G,D)=\int_{x}p_{data}(x)log(D(x))d_{x}+p_{g}(x)log(1-D(x))dx \\ 又对于任意(a,b)\in R\backslash(0,0)\\ 函数y\rightarrow alog(y)+blog(1-y)在[0,1]区间内取得最大值时\\ y=\frac{a}{a+b}，则D(G)的全局最优解为 \\ D^*_G(x)=\frac{p_{data}(x)}{p_{data}(x)+p_g(x)}\\$