论文阅读：Bayesian GAN

Bayesian GAN

点击访问paper
官方github
半监督学习对比算法

1.简介

贝叶斯 GAN（Saatchi 和 Wilson，2017）是生成对抗网络（Goodfellow，2014）的贝叶斯公式，我们在其中学习生成器参数 ${\theta }_g$ 和鉴别器参数 ${\theta }_d$ 的分布，而不是优化 用于点估计。 贝叶斯方法的优点包括在参数空间中灵活地建模多模态，以及在最大似然（非贝叶斯）情况下防止模式崩溃的能力。

我们通过称为“随机梯度哈密顿蒙特卡罗（SGHMC）”的近似推理算法来学习贝叶斯 GAN，这是一种基于梯度的 MCMC 方法，其样本近似于 ${\theta }_g$ 和 ${\theta }_d$ 的真实后验分布。

贝叶斯 GAN 训练过程从固定分布（通常是标准 d-dim 正态分布）中采样噪声 $z$ 开始。 噪声被馈送到生成器，其中参数 ${\theta }_g$ 从后验分布 $p({\theta }_g|D)$ 中采样。 给定参数 ${\theta }_g$ ($G(z|{\theta }_g)$) 生成的图像以及真实数据呈现给鉴别器，其参数是从其后验分布 $p({\theta }_d|D)$ 中采样的 。 我们使用梯度 $\frac{\partial \log p({\theta }_g|D)}{\partial {\theta }_g}$ 和 $\frac{\partial \log p({\theta }_d|D)}{\partial {\theta }_d}$ 更新后验与随机梯度哈密顿蒙特卡罗 (SGHMC)。

SGHMC 通过优化噪声损失

首先，观察到除了噪声 $\mathbf{n}$ 之外，更新规则与动量 SGD 类似。 事实上，如果没有 $\mathbf{n}$，这相当于执行动量 SGD，损失为 $-{\sum }_{i=1}$