ClusterGAN: Latent Space Clustering in Generative Adversarial Networks论文理解

最新推荐文章于 2024-09-19 17:25:59 发布

lllllpf

最新推荐文章于 2024-09-19 17:25:59 发布

阅读量543

点赞数

CC 4.0 BY-SA版权

分类专栏：聚类论文理解文章标签：聚类

本文链接：https://blog.csdn.net/weixin_43897803/article/details/107376592

目的：使用GAN在隐空间中进行聚类

一、背景

普通GAN的训练过程： $minθGmaxθDEx∼Pxrq(D(x))+Ez∼Pzq(1−D(G(z)))min_{\theta G}max_{\theta D}\textbf{E}_{x\sim P^r_x}q(D(x))+\textbf{E}_{z\sim P_z}q(1-D(G(z)))$ ，它无法在隐空间很好地聚类。
原因：GAN聚类的一个可能的方式是将数据反向传播到隐空间，并在隐空间聚类。但是即使反向传播成功也无法很好地聚类。一个关键问题是反向投影的数据分布和隐空间的分布应该是相似的，通常是高斯分布或均匀分布。因此即使隐空间包含了数据的所有信息，但是隐空间向量之间的几何距离不能反映类别信息，因此无法很好地聚类。

二、本文的方法

网络模型：
clusterGAN网络模型
1.从离散连续混合中抽样：
$1,2,...,K}z=(z_n,z_c),z_n\sim N(0,\sigma ^2I_{d_n}),z_c=e_k,k\sim U\left\{1,2,...,K\right\}$ ，e_k是K维的向量，其中第k维是1，即z_n是正态分布，z_c是K维的离散型one-hot向量，K是类别数量，二者联合构成离散-连续向量z。
经过试验证明，相比于均匀分布、正态分布、高斯混合分布，从离散连续混合中抽样的聚类效果更好。从不同分布中采样得到的隐空间分布如下图所示：

2. 基于改进的反向传播解码
为了获得更好的隐向量，已有的工作是解决一个优化问题： $minzL(G(z),x)+λ∣∣z∣∣pz^*=arg\space min_zL(G(z),x)+\lambda ||z||_p$ ，其中L是适宜的损失函数，但是这个方法对聚类是不够的。
在本论文中，我们让 $L(G(z),x)=||G(z)-x||_1$ ，惩罚项为 $z_n||^2_2$ ，只惩罚正态部分。再抽样K次，每次用不同的z_c进行抽样，在优化时固定z_c，用Adam优化正态部分。
3.使用线性分类器可以获得更好的聚类效果

引理：Clustering with only z_n cannot recover a mixture of gaussian data in the linearly generated space. Further ∃ a linear G(·) mapping discrete-continuous mixtures to a mixture of Gaussians.

证明：
如果隐空间只包含连续部分，即 $z=zn∼N(0,σ2Idn)z=z_n\sim N(0,\sigma ^2I_{d_n})$