机器学习——多层感知机

感知机

缺点：只能处理线性问题，感知机无法解决异或问题

在这里偏置就像线性模型的常数项，加入偏置模型的表达能力增强，而激活函数就像示性函数，可以模拟神经元的兴奋和抑制，当大于等于0就输出1。

多层感知机MLP

前馈网络的层数是指权重的层数
多个单层感知机按前馈结构，前馈结构就是层只与相邻层连接，不跨越连接，就是多层感知机

激活函数
逻辑斯蒂函数
双曲正切函数
线性整流单元ReLU

一般让所有的隐含层的激活函数相同，输出层的激活函数需根据任务的需求选择，二分类可以选择逻辑斯蒂回归，多分类用softmax函数
MLP相比单层感知机的表达能力提升，关键在于非线性激活函数
可以证明任意一个R上的连续函数都可以由MLP来拟合，而对其非线性的激活函数的形式要求很少，也称作普适逼近定理。
非线性对提升模型的表达能力很重要，其实因为非线性变换相当于提升了数据的维度，维度提升的好处就在于低维数据不可分的问题可以在高维中可分

import torch # PyTorch库
import torch.nn as nn # PyTorch中与神经网络相关的工具
from torch.nn.init import normal_ # 正态分布初始化

torch_activation_dict = {
   
   
    'identity': lambda x: x,
    'sigmoid': torch.sigmoid,
    'tanh': torch.tanh,
    'relu': torch.relu
}

# 定义MLP类，基于PyTorch的自定义模块通常都继承nn.Module
# 继承后，只需要实现forward函数，进行前向传播
# 反向传播与梯度计算均由PyTorch自动完成
class MLP_torch(nn.Module):

    def __init__(
        self, 
        layer_sizes, # 包含每层大小的list
        use_bias=True, 
        activation='relu',
        out_activation='identity'
    ):
        super().__init__() # 初始化父类
        self.activation = torch_activation_dict[activation]
        self.out_activation = torch_activation_dict[out_activation]
        self.layers = nn.ModuleList() # ModuleList以列表方式存储PyTorch模块
        num_in = layer_sizes[0]
        for num_out in layer_sizes[1:]:
            # 创建全连接层
            self.layers.append(nn.Linear(num_in, num_out, bias=use_bias))
            # 正态分布初始化，采用与前面手动实现时相同的方式