[吴恩达 机器学习]第十章 神经网络参数的反向传播算法

代价函数

下图的谁他0没有参与正则化

反向传播算法

实例

为了计算结果项采用前向传播算法？

为了计算倒数项采用反向传播算法（右侧为向量表示）

• 先用前向传播算法
• 再用后向传播算法
  

理解反向传播

反向传播与前向传播计算过程类似


75 使用注意：展开参数
从矩阵展开成向量

应用于算法：

76 梯度检测

单侧差分vs双侧差分



梯度检测计算量极大，反向传播计算Dvec的方法是一个高性能的计算导数的方法，一旦通过检测确定反向传播计算导数是正确的就要在训练时要关掉梯度检测】

• 数值上计算梯度的方法
• 如何去验证反向传播算法实现是否正确

77 随机初始化Random initialization

设置TheTa的初始值

1. 全部置为0，但是起不到任何效果：所有的隐藏层都以相同的函数作为输入
   ，这是一种高度冗余的，只能得到一个特征？，神经网络学习不到有趣的东西（对称权重问题）
   
   2.随机初始化是解决这类对称问题的方法
   

78组合到一起

目的：

• 相关知识之间有什么联系
• 神经网络算法的总体实现过程

1. 选择网络架构（分类结果要写成向量形式）
   输入和输出层选择原则
   隐藏层选择原则：一般选择单个隐藏层，隐藏单元越多越好，但越多计算量越大，隐藏单元数量最好是输入单元的倍数
2. 神经网络的实现步骤
   

神经网络是非凸函数，最后获取的可能是局部最优值

80 无人驾驶