主要参考书目《统计学习方法》第2版，清华大学出版社
参考书目 Machine Learning in Action, Peter Harrington
用于考研复试笔记，所以写的很简洁，自己能看懂就行。有学习需求请绕道，参考吴恩达机器学习或以上书籍，讲得比大多数博客好。
概念
感知机(perceptron)是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1，-1二值。
f ( x ) = s i g n ( w ⋅ x + b ) f(x)=sign(w·x+b) f(x)=sign(w⋅x+b)
其中， s i g n ( x ) = { + 1 , x ≥ 0 − 1 , x < 0 sign(x)= \left\{ \begin{aligned} +1, && x \ge 0\\ -1, && x < 0 \end{aligned} \right. sign(x)={
+1,−1,x≥0x<0
对于一个特征空间 R n R^n Rn中的一个超平面 S S S,其中 w w w是超平面的法向量， b b b是超平面的截距
， S S S称为分离超平面(separating hyperplane)
线性可分数据集（linearly separable data set)
被划分在超平面的两侧。
原理
感知机的学习策略
首先写出输入空间 R n R^n Rn中任一点 x 0 x_0 x0到超平面 S S S的距离
1 ∣ ∣ w ∣ ∣ ∣ w ⋅ x 0 + b ∣ \frac{1}{||w||}|w·x_0+b| ∣∣w∣∣1∣w⋅x0+b∣
书上扯淡说了个二范数，就是距离公式而已，拓展到n维空间
不考虑 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣感知机学习的损失函数
L ( x , b ) = − ∑ x i ∈ M y i ( w ⋅ x i + b ) L(x,b)=-\sum\limits_{x_i \in M}y_i(w·x_i+b) L(x,b)=−xi∈M∑yi(w⋅xi+b)
其中 M M M为误分类点的集合
为什么这里有一个-号？，因为认为 w ∗ x i + b > 0 ， y i = − 1 w*x_i+b>0，y_i=-1 w∗xi+b>0，yi=
最低0.47元/天 解锁文章
扫一扫
537
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
