机器学习（二） 李宏毅机器学习课程 Regression回归

机器学习（二） 李宏毅机器学习课程 Regression回归

1、利用回归能做什么：

• 股票预测系统 input：前十年的资料 output：明天的公司的点数
• 无人车驾驶 input：红外线预测到的一些现象 output：方向盘的角度
• 推荐系统 input：使用者A和商品B output：A购买B的可能性

2、本节课讲的是预测宝可梦的CP值 （CP：战斗力） input：某一只宝可梦 output: 进化后宝可梦的CP值

3、符号意义：

• X ： 某一只宝可梦
• Xcp ：进化前宝可梦的CP值
• Xs：物种
• Xhp：生命值
• Xw：重量
• Xh：高度
• Y：进化后的CP值

4、步骤

1. 第一步：建立模型,Y=b+w*Xcp (b和w任取) 这个y是linear model
   由于y和w任取,所以可以得到不同的Y,因此我们要找到一个最符合条件的y
   输入训练数据，找到一组最优解。
2. 第二步：知道什么是好的函数，什么是坏的函数。 为了找到最好的函数，我们要先找到Loss function ，Loss function:衡量参数（b 和w）的好坏。蓝色方框的含义： 真正的值-预测的值=误差 求和

3. 第三步：从function set里找到最好的function：找到b w使L(x)最小
   方法：
   1）使用Gradient Descent(线性代数的基本公式)直接计算最佳w和b.
   2）梯度下降法：找到一个w使得L最小：可以用穷举法，但这种方法比较笨。此时随机选取一个点w0，在w0参数位置对Loss函数计算微分，如果斜率为负，增加W值。增加多少呢？取决于微分值和一个参数η，如果微分值大，就说明此处比较陡峭，离最低点还有一段距离，所以可以移动比较大的距离。参数η是最开始就设定好的。

然后根据这个方法不断地更新w,直到找到最低点。

刚才只有w一个参数，当有w和b两个参数时，方法时一样的，也是求偏导。

5、结果：通过不断的计算，会得到一个结果，但是会发现仍有一些点不能拟合，这时我们就要想办法优化。

6、优化方法：
以上用的是一次函数最为model,优化方法就是使用多次方程作为model

当次数不断增加后，training data的Average Error越来越小，但是Test data的表现却不符合预期，这种现象叫overfitting

当model使用三次方程时，效果最好。

想要提高准确率，只能收集更多的数据

刚学，有问题请指正！