PyTorch中的神经网络风格迁移与GANs实战

### PyTorch中的神经网络风格迁移与GANs实战 #### 1. 神经网络风格迁移回顾 在神经网络风格迁移任务中，优化完成后，我们可通过`imgtensor2pil`辅助函数将张量转换为PIL图像，从而展示迁移结果。可以看到，风格迁移算法成功赋予了结果图像风格图像的纹理。 你可以尝试使用不同的内容图像和风格图像，生成新的艺术图像。此外，除了Adam优化器，你还能使用如LBFGS等其他优化器，也可以用随机值初始化输入张量并重新运行算法，不过可能需要调整超参数来获得理想结果。若想尝试不同的风格图像，可访问以下链接： - https://www.wikiart.org/ - https://neuralstyle.art/styles 同时，有一些在线网站和应用提供风格迁移服务，例如： - https://deepart.io/ - https://neuralstyle.art/ #### 2. GANs简介 生成对抗网络（GANs）是一种通过学习数据分布来生成新数据的框架。它由生成器和判别器两个神经网络组成。在图像生成场景中，生成器以噪声为输入生成假数据，判别器则区分真实图像和假图像。训练过程中，生成器和判别器相互竞争，促使双方不断提升性能。 GANs的应用领域不断拓展，包括艺术图像生成、数据增强、图像到图像的转换、超分辨率和视频合成等。接下来，我们将使用PyTorch开发一个GAN，以生成类似于STL - 10数据集的新图像，并遵循深度卷积生成对抗网络（DCGAN）架构。 #### 3. 创建数据集 为了训练GAN，我们需要一个训练数据集。这里使用torchvision包中的STL - 10数据集。以下是创建数据集和数据加载器的步骤： 1. **导入必要的包**： ```python from torchvision import datasets import torchvision.transforms as transforms import os path2data="./data" os.makedirs(path2data, exist_ok= True) ``` 2. **定义数据转换**： ```python h, w = 64, 64 mean = (0.5, 0.5, 0.5) std = (0.5, 0.5, 0.5) transform= transforms.Compose([ transforms.Resize((h,w)), transforms.CenterCrop((h,w)), transforms.ToTensor(), transforms.Normalize(mean, std)]) ``` 3. **实例化STL - 10类对象**： ```python train_ds=datasets.STL10(path2data, split='train', download=True, transform=transform) print(len(train_ds)) ``` 输出结果为： ``` 5000 ``` 4. **从数据集中获取一个样本张量**： ```python import torch for x, _ in train_ds: print(x.shape, torch.min(x), torch.max(x)) break ``` 输出结果为： ``` torch.Size([3, 64, 64]) tensor(-0.8980) tensor(0.9529) ``` 5. **显示样本张量**： ```python from torchvision.transforms.functional import to_pil_image import matplotlib.pylab as plt %matplotlib inline plt.imshow(to_pil_image(0.5*x+0.5)) ``` 6. **创建数据加载器**： ```python import torch batch_size = 32 train_dl = torch.utils.data.DataLoader(train_ds, batch_size=batch_size, shuffle=True) ``` 7. **从数据加载器中获取一个数据批次**： ```python for x, y in train_dl: print(x.shape, y.shape) break ``` 输出结果为： ``` torch.Size([32, 3, 64, 64]) torch.Size([32]) ``` 整个流程可以用以下mermaid流程图表示： ```mermaid graph LR A[导入必要的包] --> B[定义数据转换] B --> C[实例化STL - 10类对象] C --> D[获取样本张量] D --> E[显示样本张量] E --> F[创建数据加载器] F --> G[获取数据批次] ``` #### 4. 定义生成器和判别器 GAN框架基于生成器和判别器的竞争。下面我们将实现这两个模型并初始化它们的权重。 1. **定义生成器类**： ```python from torch import nn import torch.nn.functional as F class Generator(nn.Module): def __init__(self, params): super(Generator, self).__init__() nz = params["nz"] ngf = params["ngf"] noc = params["noc"] self.dconv1 = nn.ConvTranspose2d( nz, ngf * 8, kernel_size=4, stride=1, padding=0, bias=False) self.bn1 = nn.BatchNorm2d(ngf * 8) self.dconv2 = nn.ConvTranspose2d(ngf * 8, ngf * 4, kernel_size=4, stride=2, ```