神经网络相关知识点

1 神经元模型

神经网络中最基本的成分是神经元（neuron）模型。在生物神经网络中，每个神经元与其他神经元相连，当它兴奋时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位，如果某神经元的电位超过了一个阈值，就会被激活，向其他神经元发送化学物质。

上述神经元模型，我们很容易看出是通过激活函数激活了才会发送化学物质，常用的激活函数包括，阶跃函数、Sigmoid函数；但阶跃函数具有不连续、不光滑等不太好的性质，而Sigmoid函数是可以将在较大范围内变化的输入值挤压到（0,1）输出值范围内

将若干个这样的神经元按照一定的层次结构连接起来，就得到了神经网络。

2 感知机与多层网络

感知机由两层神经元组成，输入层接收外界输入信号后传输给输出层，输出层是M-P神经元，感知机由于输出层神经元只有一层功能神经元，学习能力非常有限，只能针对线性可分的，否则学习过程无法收敛，会发生震荡，不能求得合适解。要解决非线性可分问题，则需要考虑多层功能神经元。
常用的神经网络层级结构，每层神经元与下一层神经元全互联，神经元之间不存在同层连接，也不存在跨层连接，这样的神经网络结构通常称为“多层前馈神经网络”。

神经网络的学习过程，就是根据训练数据来调整神经元之间的连接权，以及每个功能神经元的阈值，换言之，神经网络学到的东西，蕴含在连接权与阈值中。

<