机器学习之感知机与梯度下降法认知

• 感知机原理：

        感知机是一种线性二分类模型，其目的是找到能将训练数据线性可分的分离超平面。对于数据集T

        来说，存在可将数据集线线性划分的超平面S：  

        如下图所示：图一表示的直线可以将两类数据线性可分，而图二，图三则无法线性划分。

        在实际问题中，并不是所有的数据都能线性可分，而我们要做到的是力求寻找到最优的超平面 S 使数据误分类点尽量最少，即损失函数最小化。又因为误分类点个数与感知机的w和b参数均其不可导，为了引入梯度下降法求取损失函数极小值，损失函数是误分类点到超平面的总距离。

        样本空间中任何一点到超平面的距离可以表示为：

其中为超平面权重的模。对于误分类点来说，因为样本点的的真实类别标签为+1或者-1，则误分类点的的预测结果:

        由此可见预测结果与真实结果的符号是相反的，因此，误分类点到超平面的距离可以表示为：

        则感知机模型的