刘二大人的pytorch深度学习实践（七）

写在前面的话

如果我一直不开始学，我一定会成为问题。与现在看博客的同学共勉。

本节目标

课程一开始的目标是学习4小时，预测分数值。然后发展到，学习4小时，预测通过考试的概率。现在发展到，如果我们的数据具有多个特征维度，预测是否会得糖尿病或者有多大概率会得糖尿病。


上两图中，图1的行表示样本、记录；图2的列表示特征、字段。我们通过一个人的8个特征来推测这个人是否会得糖尿病，用Y表示。

本节实现过程

多维的特征输入应该怎么办呢？我们就需要把每一个特征x乘以相应的权重。注意：每个样本x乘的权重是不一样的。 在进行逻辑回归时，把每一个维度的x乘相应的权值的和加上一个偏置量，送入sigema函数进行二分类，就像上图一样。
本节课（多维特征）和上节课（单维特征）的最主要区别是下图的红色字体

我们在本节课构建了3层非线性网络，8维->6维->4维->1维。

代码实现

过程：
1.准备数据集
2.定义网络模型
3.构建损失函数和优化器
4.循环训练
5.绘图，评价指标：损失函数、精确度分析

# 这里是多维数据输入，激活函数是sigmoid函数
import matplotlib.pyplot as plt
import numpy as np
import torch


# 准备数据集
xy = np.loadtxt('diabetes.csv.gz',delimiter=',',dtype=np.float32)
x_data = torch.from_numpy(xy[:,:-1])  # 表示最后一列不要
y_data = torch.from_numpy(xy[:,[-1]])  # [-1]的[]表示抽取出来的是一个矩阵，不是向量。此时抽取最后一列

print(x_data.size())
print(y_data.size())

# 定义模型


class Model(torch.nn.Module):
    def __init__(self):
        super(Model,self).__init__()
        self.linear1 = torch.nn.Linear(8,6)  # 8D -> 6D -> 4D ->1D
        self.linear2 = torch.nn.Linear(6,4)
        self.linear3 = torch.nn.Linear(4,1)
        self.sigmoid = torch.nn.Sigmoid()  # 此时是1/(1+e^(-z))作用。将其看作是网络的一层，而不是简单的函数使用

    def forward(self,x):
        x = self.sigmoid(self.linear1(x))  # 此时x不断更新
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x)) # y hat
        return x


model = Model()

# 构建损失和优化器
criterion = torch.nn.BCELoss(reduction='mean')
optimizer = torch.optim.SGD(model.parameters(),lr=0.1)


epoch_list = []
loss_list = []

# 训练循环
for epoch in range(1000):
    # Forward 前馈
    y_pred = model(x_data)
    loss = criterion(y_pred,y_data)
    print(epoch,loss.item())
    epoch_list.append(epoch)
    loss_list.append(loss.item())

    # Backward 反馈
    optimizer.zero_grad()
    loss.backward()

    # Update 更新
    optimizer.step()

plt.plot(epoch_list,loss_list)
plt.ylabel('loss')
plt.xlabel('epoch')
plt.show()

下方是relu和sigmoid激活函数一起实现，收敛更快。

# 这里是多维数据输入，激活函数是RELU和sigmoid函数
import numpy as np
import torch
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #显示中文

###  新建空列表存储绘图所用的数据

epoch_list = []
loss_list = []
acc_list = []

# 准备数据集
xy = np.loadtxt('diabetes.csv.gz',delimiter=',',dtype=np.float32)
x_data = torch.from_numpy(xy[:,:-1])  # 表示最后一列不要
print(x_data.size())
y_data = torch.from_numpy(xy[:,[-1]])  # [-1]的[]表示抽取出来的是一个矩阵，不是向量。此时抽取最后一列
print(y_data.size())

# 定义模型
class Model(torch.nn.Module):
    def __init__(self):
        super(Model,self).__init__()
        self.linear1 = torch.nn.Linear(8,6)  # 8D -> 6D -> 4D ->1D
        self.linear2 = torch.nn.Linear(6,4)
        self.linear3 = torch.nn.Linear(4,1)
        self.sigmoid = torch.nn.Sigmoid()  # 此时sigmoid函数是1/(1+e^(-z))作用
        self.activate = torch.nn.ReLU()

    def forward(self,x):
        x = self.activate(self.linear1(x))  # 此时x不断更新
        x = self.activate(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x


model = Model()

# 构建损失和优化器
criterion = torch.nn.BCELoss(reduction='mean')
optimizer = torch.optim.SGD(model.parameters(),lr=0.1)

# 训练循环
for epoch in range(1000):
    # Forward 前馈
    y_pred = model(x_data)
    loss = criterion(y_pred,y_data)
    print(epoch,loss.item())

    # Backward 反馈
    optimizer.zero_grad()
    loss.backward()

    # Update 更新
    optimizer.step()

    epoch_list.append(epoch)
    loss_list.append(loss.item())

    y_pred_label = torch.where(y_pred >= 0.5,torch.tensor([1.0]),torch.tensor([0.0]))
    accuracy = torch.eq(y_pred_label,y_data).sum().item() / y_data.size(0)
    acc_list.append(accuracy)
    print('loss=',loss.item(),'acc=',accuracy)




plt.plot(epoch_list, loss_list)
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()
# plt.plot(epoch_list,acc_list)
# plt.xlabel('epoch')
# plt.ylabel('accuracy')
# plt.show()

补充知识

1.什么是激活函数？、激活函数的理解
2.y_pred_label = torch.where(y_pred >= 0.5,torch.tensor([1.0]),torch.tensor([0.0]))
accuracy = torch.eq(y_pred_label,y_data).sum().item() / y_data.size(0)解释一下这两行代码的意思

3.参考博客[1]、[2]、[3]