博客 小站

下面是我们在推导sparse autoencoder时使用的符号一览表： 符号 含义 训练样本的输入特征，. 输出值/目标值. 这里  可以是向量. 在autoencoder中，. 第  个训练样本 输入为  时的假设输出，其中包含参数 . 该输出应当与目标值  具有相同的维数. 连接第  层  单元和第  层  单元的参数. ...

训练完（稀疏）自编码器，我们还想把这自编码器学到的函数可视化出来，好弄明白它到底学到了什么。我们以在10×10图像（即n=100）上训练自编码器为例。在该自编码器中，每个隐藏单元i对如下关于输入的函数进行计算： 我们将要可视化的函数，就是上面这个以2D图像为输入、并由隐藏单元i计算出来的函数。它是依赖于参数的（暂时忽略偏置项bi）。需要注意的是，可看作输入的非线性特征。不过还有个问题：什么样...

目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合  ，其中  。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如  。下图是一个自编码神经网络的示例。   自编码神经网络尝试学习一个  的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出  接近于输入  。恒...

梯度检验与高级优化 目录 梯度检验与高级优化 梯度检验 中英文对照 梯度检验 众所周知，反向传播算法很难调试得到正确结果，尤其是当实现程序存在很多难于发现的bug时。举例来说，索引的缺位错误（off-by-one error）会导致只有部分层的权重得到训练，再比如忘记计算偏置项。这些错误会使你得到一个看似十分合理的结果（但实际上比正确代码的结果要差）。因此，但从计算结果上来看，我们很难...

反向传导算法 目录 反向传导算法 推导流程 中英文对照 推导流程 假设我们有一个固定样本集 ，它包含  个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲，对于单个样例 ，其代价函数为： 这是一个（二分之一的）方差代价函数。给定一个包含  个样例的数据集，我们可以定义整体代价函数为： 以上关于定义中的第一项是一个均方差项。第二项是一个规则化项（也叫权重衰减项），其目的...

概述 目录 概述 概述 神经网络模型 中英文对照 概述 以监督学习为例，假设我们有训练样本集  ，那么神经网络算法能够提供一种复杂且非线性的假设模型  ，它具有参数  ，可以以此参数来拟合我们的数据。 为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示： 这个“神经元”是一个以  及截距  为输入值的运算单元，...