机器学习笔记（二）——多变量最小二乘法

在上一节中，我们介绍了最简单的学习算法——最小二乘法去预测奥运会男子100米时间。但是可以发现，它的自变量只有一个：年份。通常，我们所面对的数据集往往不是单个特征，而是有成千上万个特征组成。那么我们就引入特征的向量来表示，这里涉及到矩阵的乘法，向量，矩阵求导等一些线性代数的知识。

---

一. 将拟合函数由单变量改写为多变量

设我们的拟合函数

$$f(\boldsymbol{x_i}; \boldsymbol{\omega}) = \boldsymbol{\omega}^T\boldsymbol{x_i}$$

其中， $\boldsymbol{w}$表示拟合函数的参数，$\boldsymbol{x_i}$表示数据集中第i条数据。

对于上节中的$f(x;a,b) = ax + b$,我们可以令

$$\boldsymbol{\omega} = \begin{bmatrix} a\\b \end{bmatrix}, \boldsymbol{x_i} = \begin{bmatrix} x\\1 \end{bmatrix}$$

则这两个函数等价。为了方便推导，我们在损失函数前边加上$\frac{1}{N}$,由于N是定值，它代表数据集的记录数。那么，损失函数可以写为：