统计学习方法(第二版) 第三章 KNN算法

本节主要介绍和了解KNN算法。

前言

        k近邻法（k-nearest neighbor ,k-NN)是一种基本分类与回归方法，本节只讨论分类问题中的k近邻法。k近邻法的输入为实例的特征向量，对应于特征空间的点，输出为实例的类别，可以取多类。

        思想：k近邻假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻不具有显示的学习过程。k近邻实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。

        k值的选择，距离的度量即分类决策规则是k邻近法的三要素。

KNN原理小结

一、k邻近算法

二、k近邻模型

        k近邻法使用的模型实际上对应于对特征空间的划分。模型由三个基本要素：1.距离度量2.k值选择3.分类决策规则决定。

1.模型