style-GAN Generator 代码解析

style-GAN Generator 代码解析

PART 2 of Sefa study:

对于style-GAN Generator部分的代码解析

• 代码仓库:(sefa/models at master · genforce/sefa · GitHub)

• style-GAN论文讲解[参考](StyleGAN-基于样式的生成对抗网络（论文阅读总结） - 知乎 (zhihu.com))

• 代码中每个模块的原理作用[解析参考](StyleGAN 和 StyleGAN2 的深度理解 - 知乎 (zhihu.com))

• styleGAN2有部分添加，而styleGAN的Synthesis部分参考PGGAN

• 下面主要是梳理代码思路

<

代码主要分为两个部分:

• Mapping network
• Synthesis network

Mapping主要网络组块在$classDenseBlock()$

Synthesis主要的网络组块在$classConvBlock()$依靠输入参数(‘position’)不同进行调整

最后组装为$classStyleGANGenerator(nn.Module)$

StyleGAN部分

分辨率resolution在$2^3\sim 2^{10}$

将潜变量空间$z\in Z(dim=512)\rightarrow w\in W(dim=512) $

$num\_layers=lo{g}_2(\frac{2\cdot res}{4})\ast 2$

• 输入$z:dim=2,shape=[z.shape[0],512]$

• 先过mapping层得到dict{‘z’: z;‘label’:None;‘w’:w}

  其中$z=pixel\_norm(z)$

  $z$过8层$FC$，维度不变Linear+relu 变成w

  保持输入输出channels=512,$w:[z.shape[0],512]$

  self.add_module(f'dense{
         i}',
  				DenseBlock(in_channels=in_channels,
                             out_channels=out_channels,
                             use_wscale=self.use_wscale,#=True
                             lr_mul=self.lr_mul))#=0.01
  

• 两个tricks(option):

  • truncation（self.training=True进行自学习，用truncation技巧处理每层得到的w）

    ps:其中使用all_gather函数源自.sync_op.py文件，主要把分布运算的w汇总求均值$\bar{w}$

  • style_mix (有0.9的可能性在任意mapping层以后用新的z在后面层产生的w代替原来这些层的w)

• 一层truncation：

  • $layer\_num=lo{g}_2(\frac{2\cdot re}{4}$