SinGAN：Learning a Generative Model from a Single Natural Image

SinGAN：Learning a Generative Model from a Single Natural Image

作者：Tamar Rott Shaham，Tali Dekel，Tomer Michaeli（以色列理工学院，Google Research）

这篇论文提出了一种可以从单幅自然图像学习的非条件生成模型–SinGAN，能够捕捉图像的内部块分布信息，生成具有相同视觉内容的高质量、多变的样本。SinGAN包含一个金字塔结构的全卷积GAN，每个GAN负责学习图像不同尺度的分布信息。

因此可以生成具有任意尺寸和纵横比的新样本，这些样本具有明显的变化，同时又可以保持训练图像的整体结构和精细的纹理特征。与之前的单图像GAN方案对比，本文方法不局限于纹理图像，而且是非条件的（即从噪声生成样本）。大量实验证明SinGAN生成的样本具有较好的真实性，而且可以应用于多种图像处理任务中。

研究背景

生成对抗网络（GAN）在对视觉数据的高维分布建模方面取得了巨大飞跃。特别是用类别特定数据集（如人脸、卧室）进行训练时，非条件GAN在生成逼真的、高质量样本方面已取得显著成功。但建模具有多个类别、高度多样化的数据集（如ImageNet）的分布仍然是一项重大挑战，并且通常需要根据另一种输入信号来调节生成或为特定任务训练模型。

本文将GAN带入了一个新领域–从单幅自然图像中学习非条件生成模型。对单幅自然图像中的图像内部分布进行建模已被公认为是许多计算机视觉任务的有用先验，单幅自然图像通常具有足够的内部统计信息，可以使网络学习到一个强大的生成模型。
作者提出了一种具有简单统一架构的模型SinGAN，能够处理包含复杂结构和纹理的普通自然图像，而不必依赖于具有同一类别图像的