qq_45903351的博客

  分类学习的基本思想就是基于训练集在样本空间找到一个划分超平面，将不同类别的样本分开，但是能将样本分开的有很多应该找那个，因为其。如下图所示应该用最中间的红色面   超平面分为线性的和非线性的，线性的一般来说就是SVM法来分类，非线性的就是用核方法来映射到高维空间使之有线性的性质。推导: 空间中一点(x0,y0)到直线 Ax+By+C=0 的距离为：   通过类比可以得到 r 的表达式。下面是计算间隔距离：   通过以上定义可以知道一个点到超平面的最小距离是 1/||w|| ,因为假设的就是 W^TX

神经网络 一、神经元模型 1、生物学神经元   在生物学神经网络中，每个神经元与其他神经元连接，当它“兴奋”时，就会向相邻的神经元发送化学物质，从而改变这些神经元的电位，如果某神经元的电位超过一个阈值，那么它就会被激活（兴奋），向其他神经元发送化学物质。   1943年，McCulloch and Pitts基于生物神经元模型抽象出了经典的M-P神经元模型。神经元接收来自n个其他神经元传递来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过激活函数处

决策树 概念 分类树为例 逻辑： 从根节点出发，对样例的每一个属性进行判断，根据判断结果，将样例分配到其子节点中，此时，每个节点又对应着该属性的一个取值，如此递归的对样例进行判断和分配，直至将样例分配到叶子结点中，其基本流程遵循简单且直观的分而治之的策略。 算法模型： 算法原理： 构造根节点，将所有训练数据集都放到根节点，选择一个最优特征，将训练数据集分割成子集，使得训练集在当前按条件下有最好的分类。如果这些子集已经可能很好的分类，那么构建叶节点，如果还不能很好的分类，继续对其分割，构造相应的结点，如此递

线性模型 基本形式   线性函数试图学得一个通过属性的线性组合来进行预测的函数： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传   以下是向量形式：   当 ω 和 b 学得以后，模型即可确定。 特点 形式简单易于建模； 更强大的非线性模型就是在其基础上通过引入层级结构或高维映射所得； ω较为直观表现各属性的重要性，所以具有很好的解释性。 一、线性回归 目标： 试图学得一个线性模型尽可能准确地预测实值输出标记。 数据处理： 离散属性,各属性之间若有序关系，则可连续化转化为连续

西瓜书第一章学习记录