机器学习011_特征和多项式回归

1、概要

• 在这里，我们将学习一些可供我们选择的特征，及如何得到不一样的算法，在选择了合适的特征之后，这些算法将会非常有效。
• 以及学习多项式回归，这会使得我们 能够使用线性回归的方法来拟合非常复杂的函数，甚至是非线性函数。

2、案例

以预测房价为例：

• 先要选择合适的特征写出相应的假设函数。
  
  这里先给出了一个两个特征的假设函数，分别为临街宽度X1和纵向宽度X2。但是，如果从另一个角度来看问题，房价的主要是取决于房子面积大小，那么我们可以自定义一个特征房子面积X（=X1*X2）来建立模型，而不是直接使用给出的两个特征。有时候，通过自定义新的特征可能得到一个更好的模型。

一个与选择特征想法密切相关的概念- - - 多项式回归。

这里的特征我们选择的是自定义的新特征X（房子面积）。

针对一个已有的房价数据采集图像，该使用什么模型来对数据进行拟合呢？也许可以使用一个二次函数作为模型，也许可以使用一个三次函数作为模型。这些都是多项式。三次函数的图形更符合该数据集，选择这个三次函数作为模型之后，接下来该如何将模型与数据进行拟合呢？

• 将模型（假设函数）与数据集进行拟合

我们使用多元线性回归的方法来实现这里的多项式回归。

可以将对应的 特征的一次方、二次方、三次方用三个不同的变量来表示，再使用梯度下降来拟合数据集。但是这里的X1、X2、X3的范围相差较大，所以要注意特征的缩放，才能将值的范围变得有可比性。

注意：

这里也可以选择其他的特征来建立模型，比如下面的平方根函数，此函数的图形更大程度上能更好的拟合数据。

这里我们主要了解的是可以自由的使用自定义的特征来简历模型拟合数据，当选择不同的特征时，可以有不同的拟合效果，有不同的模型（假设函数）。在后面会学习到一些算法能够自动帮我们选择出合适的特征，得到合适的模型。