第八章 正则化regularization

课时55 过拟合问题

underfit欠拟合 with high bias
overfit过拟合 with high variance

解决过拟合问题：

1. 减少特征数
   -手动选择要保留的特征
   -模型选择算法model selection algorithm
2. 正则化regularization
   -保留所有的特征， 但是减少θj的量级/权值
   -当我们有很多特征，每一个特征都对预测y有一些贡献的时候works well

课时56 代价函数

代价函数中，在平方误差项后加上一些惩罚项，为了使代价小，θ3,θ4应该很小接近于0才可以。

正则化参数λ平衡了更好地拟合训练集的目标与将参数控制得更小（保持模型相对简单）的目标。如果λ太大，对参数的惩罚程度也大，容易欠拟合。

课时57 线性回归的正规化
梯度下降法：
因为regularization不包括θ0，所以梯度下降处把θ0单独列一下。

normal equation正规方程法：

如果λ>0,括号里的式子一定是可逆的。

课时61 logistic回归的正规化
梯度下降法：

式子与线性回归的一样，但是实际不一样，因为假设函数不一样。
高级算法：