【复旦邱锡鹏教授《神经网络与深度学习公开课》笔记】线性回归-CSDN博客

本文链接：https://blog.csdn.net/qq_48520962/article/details/138639876

回归问题属于机器学习中较为简单的一类问题。对于回归问题，训练集要包含输入和输出 ${x^{(n)},y^{(n)}}_{n=1}^N$ 。其中输入 $x^{(n)}$ 一般为D维向量，记作 $x(n)∈RDx^{(n)}\in\mathbb{R}^D$ ；输出 $y^{(n)}$ 为连续的标量，记作 $y(n)∈Ry^{(n)}\in\mathbb{R}$ 。回归问题即求解 $x, y$ 之间的映射关系，记为 $y=f(x,θ)y=f(x,\theta)$

模型

线性回归问题是回归问题中比较简单的一种，其模型为：
$f(x;w,b)=w^T+b$
其中 $w$ 一般叫做权重（weight）， $b$ 叫做偏置（bias）。事实上，可以通过利用增广权重向量和增广特征向量来消除偏置。
增广权重向量是指在权重 $w$ 的基础上增加一个维度来表示偏置：
$w^=w⊕b≜[wb]=[w1⋮wDb] \hat{w}=w\oplus{b}\triangleq \left[\begin{array}{}\\ w\\ \\ b \end{array}\right]= \left[\begin{array}{} w_1\\ \vdots\\ w_D\\ b \end{array}\right]$
增广特征向量是指在特征向量 $x$ 上添加一个值为1的维度，用来与增广权重向量在维度上保持相同以进行运算：
$x^=x⊕1≜[x1⋮xD1] \hat{x}=x\oplus1\triangleq \left[\begin{array}{} x_1\\ \vdots\\ x_D\\ 1 \end{array}\right]$
经过变换后原式变化如下
$b]⋅[x1⋮x21]=w^T⋅x^=f(x^,w^) \begin{aligned} f(x;w,b) & =w^Tx+b\\ & =\left[\begin{array}{} w_1\cdots w_D \end{array}\right] \cdot \left[\begin{array}{} x_1\\ \vdots\\ x_D \end{array}\right]+b \\ & =w_1x_1+\cdots+w_Dx_D+b \\ & =\left[\begin{array}{} w_1\cdots w_D\ \ b \end{array}\right]\cdot\left[\begin{array}{} x_1\\ \vdots\\ x_2\\ 1 \end{array}\right]\\ & =\hat{w}^T\cdot \hat{x} = f(\hat{x}, \hat{w}) \end{aligned}$