哎呀牙刷子的博客

激活函数的概念神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。以一个简单的全连接神经网络为例，上一层输出的结果会乘以权重后输入到这一层的每个节点中，而这一层的每个节点会将输入经过激活函数后向下传递。激活函数对于人工神经网络理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如果没有激活函数，则神经网络就是很..

一、正则化的概念我们使用机器学习方法训练一个模型，其最终目的是得到一个能够最大程度概括整体空间内的数据特征。然而由于训练数据往往是整体空间数据一个样本，因此在使用训练样本训练模型的时候有可能出现过拟合的情况。这里以一个简单的回归模型来说明一个模型的拟合程度。图1图1 就是三种模型的拟合程度，图1左表示欠拟合，也就是得到的模型并没有足够的拟合样本数据的特征；图1右则是过拟合的情况，模型被设计的过于复杂，或者在训练集上进行了过度的训练，使得模型能够完全的贴合样本空间。但是，我们希望得到的模.