pytorch阶段性总结2

nn神经网络

functional当中卷积的使用

import torch
import torch.nn.functional as F
#数据
input=torch.tensor([[1,2,0,3,1],
                    [0,1,2,3,1],
                    [1,2,1,0,0],
                    [5,2,3,1,1],
                    [2,1,0,1,1]])
#卷积核
kernel=torch.tensor([[1,2,1],
                     [0,1,0],
                     [2,1,0]])

# minibatch,in_channels,iH,iW
input=torch.reshape(input,(1,1,5,5))
kernel=torch.reshape(kernel,(1,1,3,3))

#stride表示步长,每一次卷积核向周围移动的距离,padding表示在输入长度周边填充几圈0
output=F.conv2d(input,kernel,stride=1)
print(output)
output2=F.conv2d(input,kernel,stride=2)
print(output2)
output3=F.conv2d(input,kernel,stride=1,padding=1)
print(output3)

• 输入：input = (x, y, 高度, 宽度)，x 是批次大小，y 是输入通道数，高度 和 宽度 是图像的空间尺寸。
• 卷积核：kernel = (a, b, 高度, 宽度)，a 是卷积核的数量，b 是卷积核的输入通道数，高度 和 宽度 是卷积核的尺寸。
• 输出:(x, a, 输出高度, 输出宽度)这是输出的尺寸

nn.Module

• __init__(self)：这个方法用于定义模型的层或者各个子模块。通常你会在这个方法中实例化神经网络的不同层（如卷积层、全连接层等）。

• forward(self, input)：这是你需要自己实现的方法，定义了数据从输入到输出的流动过程。在这里，输入数据通过网络的不同层，最终产生输出。PyTorch 会根据你定义的 forward 方法自动构建计算图。

#一个简单的模型示例
import torch
from torch import nn

class Tudui(nn.Module):
    def __init__(self):
        super().__init__()
    def forward(self, input):
        output = input + 1  # 前向传播操作，简单地将输入加1
        return output

# 创建模型实例
tudui = Tudui()

# 创建一个张量，作为输入
x = torch.tensor(1.0)

# 调用模型，将输入传递给前向传播方法
output = tudui(x)

# 打印输出
print(output)

 nn当中的conv2d

import torch
import torchvision
from torch import nn
from torch.nn import Conv2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset=torchvision.datasets.CIFAR10("dataset",train=False,transform=torchvision.transforms.ToTensor(),download=True)

dataloader=DataLoader(dataset,batch_size=64)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui,self).__init__()
        #定义一个卷积层大小,in_channels就是输入张量的通道数,out_channels就是输出张量的通道数
        #kernel_size表示卷积核的大小,例如3表示卷积核是一个3*3的张量,stride表示步长
        #这里定义的一个卷积层中的卷积核（或称为滤波器）是会 随机初始化 的
        #然后在训练过程中通过反向传播进行更新和优化。
        self.conv1=Conv2d(in_channels=3,out_channels=6,kernel_size=3,stride=1,padding=0)

    def forward(self,x):
        x=self.conv1(x)
        return x

tudui=Tudui()

writer=SummaryWriter("logs")
step=0
for data in dataloader:
    imgs,targets=data
    output=tudui(imgs)
    writer.add_images("input",imgs,step)
    output=torch.reshape(output,(-1,3,30,30))
    writer.add_images("output",output,step)
    step=step+1

writer.close()

 最大池化maxpool,通过分块取最大值来提取张量的特征从而空间加快训练

import torch
import torchvision.datasets
from torch import nn
from torch.nn import MaxPool2d
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset=torchvision.datasets.CIFAR10("dataset",train=False,download=True,transform=torchvision.transforms.ToTensor())

dataloader=DataLoader(dataset,batch_size=64)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui,self).__init__()
        #窗口的大小,ceil_mode取True表示会保留边缘不足窗口大小的部分,false会舍弃
        #窗口每次移动自身大小步长
        self.maxpool1=MaxPool2d(kernel_size=3,ceil_mode=True)
    def forward(self,input):
        output=self.maxpool1(input)
        return output



tudui=Tudui()

writer=SummaryWriter("logs_maxpool")
step=0
for data in dataloader:
    imgs,targets=data
    writer.add_images("input",imgs,step)
    output=tudui(imgs)
    writer.add_images("output",output,step)
    step=step+1

writer.close()

relu和Sigmoid

relu:对张量数据取max(0,x)

sigmoid:1/(1+e^(-x)),将数据压缩到(0,1)之间

import torch
import torchvision.datasets
from torch import nn
from torch.nn import ReLU, Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

input=torch.tensor([[1,-0.5],
                    [-1,3]])

input=torch.reshape(input,(-1,1,2,2))

dataset=torchvision.datasets.CIFAR10("dataset",train=False,download=True,transform=torchvision.transforms.ToTensor())

dataloader=DataLoader(dataset,batch_size=64)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui,self).__init__()
        self.relu1=ReLU()
        self.sigmoid1=Sigmoid()
    def forward(self,input):
        output=self.sigmoid1(input)
        return output

tudui=Tudui()

writer=SummaryWriter("logs_relu")

step=0
for data in dataloader:
    imgs,target=data
    writer.add_images("input",imgs,global_step=step)
    output=tudui(imgs)
    writer.add_images("output",output,global_step=step)
    step=step+1

writer.close()