《统计学习方法》学习笔记（一）——统计学习方法概论

将记录学习此书的历程。以章节为单位。最后还会开辟专题。

统计学习方法三要素：模型（model）、策略（strategy）、算法（algorithm）。

Supervised learning：它的任务是学习一个模型，使模型能够对任意给定的输入与其相应的输出做一个好的输出。

回归问题：输入变量与输出变量均为连续变量的预测问题；
分类问题：输出变量为有限个离散变量的预测问题称为分类问题。

一个关于监督学习数据的基本假设是：随机变量X和Y具有联合概率分布。

损失函数：度量模型一次预测的好坏；
风险函数：度量平均意义下模型预测的好坏。

损失函数（Loss Function）：记作
常用的损失函数有：1.0-1损失函数；2.平方损失函数；3.绝对损失函数；4.对数损失函数；

风险函数（risk function）或平均期望损失（expected loss）
它是关于联合分布 的平均意义下的损失
学习目标：选择期望风险最小的模型；

经验风险（empirical risk）或经验损失（empirical loss）
它是关于训练集的平均损失；

用经验风险去估计期望风险往往结果不理想，因此有如下策略：
1.经验风险最小化； <