深度学习Week20——Pytorch实现残差网络和ResNet50V2算法

文章目录
深度学习Week20——Pytorch实现残差网络和ResNet50V2算法
一、前言
二、我的环境
三、代码复现
3.1 配置数据集
3.2 构建模型
四、模型应用与评估
4.1 编写训练函数
4.2 编写测试函数
4.3 训练模型
4.4 结果可视化

一、前言

• 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
• 🍖 原作者：K同学啊 | 接辅导、项目定制

本周我们使用了Pytorch复现代码。

二、我的环境

• 电脑系统：Windows 10
• 语言环境：Python 3.8.0
• 编译器：Pycharm2023.2.3
  深度学习环境：Pytorch
  显卡及显存：RTX 3060 8G

三、代码复现

3.1 配置数据集

import torch
import torch.nn as nn
import torchvision.transforms as transforms
import torchvision
from torchvision import transforms, datasets
import os,PIL,pathlib,warnings
 
warnings.filterwarnings("ignore")             #忽略警告信息
 
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

data_dir = "/home/mw/input/data7619//bird_photos/bird_photos"

data_dir = pathlib.Path(data_dir)
 
data_paths  = list(data_dir.glob('*'))
classeNames = [str(path).split("\\")[0] for path in data_paths]
print(classeNames)

['/home/mw/input/data7619/bird_photos/bird_photos/Bananaquit', '/home/mw/input/data7619/bird_photos/bird_photos/Black Throated Bushtiti', '/home/mw/input/data7619/bird_photos/bird_photos/Cockatoo', '/home/mw/input/data7619/bird_photos/bird_photos/Black Skimmer']

image_count = len(list(data_dir.glob('*/*')))
print("图片总数为：",image_count)

图片总数为： 565

数据增强

import torchvision.transforms as transforms
from torchvision import datasets

# 这里我们运用上前面学习到的数据增强的方式
train_transforms = transforms.Compose([
    transforms.Resize([224, 224]),  # 将输入图片resize成统一尺寸
    transforms.RandomHorizontalFlip(),  # 随机水平翻转
    transforms.RandomVerticalFlip(),  # 随机垂直翻转
    transforms.RandomRotation(15),  # 随机旋转图片，范围为-15度到15度
    transforms.ToTensor(),  # 将PIL Image或numpy.ndarray转换为tensor，并归一化到[0,1]之间
])

test_transform = transforms.Compose([
    transforms.Resize([224, 224]),  # 将输入图片resize成统一尺寸
    transforms.ToTensor(),  # 将PIL Image或numpy.ndarray转换为tensor，并归一化到[0,1]之间
    transforms.Normalize(  # 标准化处理-->转换为标准正太分布（高斯分布），使模型更容易收敛
        mean=[0.485, 0.456, 0.406],
        std=[0.229, 0.224, 0.225])  # 其中 mean=[0.485,0.456,0.406]与std=[0.229,0.224,0.225] 从数据集中随机抽样计算得到的。
])

total_data = datasets.ImageFolder("/home/mw/input/data7619//bird_photos/bird_photos", transform=train_transforms)
print(total_data.class_to_idx)

{'Bananaquit': 0, 'Black Skimmer': 1, 'Black Throated Bushtiti': 2, 'Cockatoo': 3}

划分训练集、测试集

# 按比例将数据集分割为训练集和测试集
train_size = int(0.8 * len(total_data))  # 计算训练集的大小，占总数据集的80%
test_size = len(total_data) - train_size  # 计算测试集的大小，占总数据集的20%
train_dataset, test_dataset = torch.utils.data.random_split(total_data, [train_size, test_size])  # 随机分割数据集

# 定义批量大小
batch_size = 32

# 创建训练集的数据加载器
train_dl = torch.utils.data.DataLoader(
    train_dataset,  # 训练集数据
    batch_size=batch_size,  # 每个批次的大小为32
    shuffle=True,  # 打乱数据
    num_workers=0  # 使用的工作线程数
)

# 创建测试集的数据加载器
test_dl = torch.utils.data.DataLoader(
    test_dataset,  
    batch_size=batch_size,  
    shuffle=True,  
    num_workers=0  
)


for X, y in test_dl:
    print("Shape of X [N, C, H, W]: ", X.shape) 
    print("Shape of y: "