吴恩达深度学习笔记(35)-加快归一化的网络训练方法

归一化输入（Normalizing inputs）
训练神经网络，其中一个加速训练的方法就是归一化输入。假设一个训练集有两个特征，输入特征为2维，归一化需要两个步骤：

1.零均值
2.归一化方差；

我们希望无论是训练集和测试集都是通过相同的μ和σ^2定义的数据转换，这两个是由训练集得出来的。

第一步是零均值化

它是一个向量，x等于每个训练数据 x减去μ，意思是移动训练集，直到它完成零均值化。

第二步是归一化方差，

注意特征x_1的方差比特征x_2的方差要大得多，我们要做的是给σ赋值

这是节点y 的平方，σ^{2是一个向量，它的每个特征都有方差，注意，我们已经完成零值均化，(x}(i)^2元素y2就是方差，我们把所有数据除以向量σ^2，最后变成上图形式。

x_1和x_2的方差都等于1。

提示一下，如果你用它来调整训练数据，那么用相同的 μ 和 σ^2来归一化测试集。

尤其是，你不希望训练集和测试集的归一化有所不同，不论μ的值是什么，也不论σ^2的值是什么，这两个公式中都会用到它们。所以你要用同样的方法调整测试集，而不是在训练集和测试集上分别预估μ 和 σ^{2。因为我们希望不论是训练数据还是测试数据，都是通过相同}