笔记（五）机器学习（周志华）第5章 神经网络

1. 神经元模型

1.1. M-P神经元模型

神经元接收到来自n个其他神经元传递来的输入信号，这些输入信号通过带权重(连接权)的连接进行传递，神经元接收到的总输入值(输入信号的加权和)与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。

• 激活函数
  理想中的激活函数是阶跃函数（单位阶跃函数的变体），但它具有不连续、不光滑等不好的性质，因此实际常用Sigmoid函数作为激活函数。
  

2. 感知机与多层网络

2.1. 感知机

实战链接
(以下内容有参考李航老师的)是二分类的线性分类模型，感知机由两层神经元组成，输入层接收外接输入信号后传递给输出层，输出层是M-P神经元，亦称“阈值逻辑单元”。

• 有两个输入神经元的感知机网络结构示意图：
  
  给定训练数据集，权重$w_i$和阈值$\theta$可以学习得到。感知机有n个输入神经元，则有n+1个参数（n个权重+1个阈值），把阈值看作是一个输入为-1的哑结点，对应的连接权重为$w_{n+1}$，这样，权重和阈值就统一为权重的学习。
• 对于训练样例$(x,y)$，感知机的输出(预测值)为$\hat{y}$，则感知机权重重新调整为：
  w i ← w i + Δ w i Δ w i = η ( y − y ^ ) x i w_i \gets w_i+\Delta w_i \\ \Delta w_i=\eta (y-\hat y)x_i