神经网络的架构

神经网络中的基本术语

                

以上图为例，相关的术语描述如下：

• 最左边的称为输⼊层，其中的神经元称为输⼊神经元；
• 最右边的，即输出层包含有输出神经元；本例中的输出神经元只有一个；
• 中间层，既然这层中的神经元 既不是输⼊也不是输出，则被称为隐藏层。

运用上述的术语，我们可以将如下的一个网络，进行如下描述：

                

术语在实际例子中的运用

输入层：设计⽹络的输⼊输出层通常是⽐较直接的；

• 假设我们尝试确定⼀张⼿写数字的图像上 是否写的是“9”；
• 很⾃然地，我们可以将图⽚像素的强度进⾏编码作为输⼊神经元来设计⽹络；
• 如果图像是⼀个64x64 的灰度图像，那么我们会需要4096个输⼊神经元，每个强度取0和之1间合适的值;

输出层：输出层只需要包含⼀个神经元，当输出值⼩于0.5时表⽰“输⼊图像不是⼀个9”，⼤于的值表⽰“输⼊图像是⼀个9";

隐藏层：相⽐于神经⽹络中输⼊输出层的直观设计，隐藏层的设计则堪称⼀⻔艺术;

• 特别是，通过⼀ 些简单的经验法则来总结隐藏层的设计流程是不可⾏的;
• 相反，神经⽹络的研究⼈员已经为隐 藏层开发了许多设计最优法则，这有助于⽹络的⾏为能符合⼈们期望的那样;
  • 例如，这些法则 可以⽤于帮助权衡隐藏层数量和训练⽹络所需的时间开销;

神经网络的种类

前馈神经网络

• ⽬前为⽌，我们讨论的神经⽹络，都是以上⼀层的输出作为下⼀层的输⼊。这种⽹络被称为 前馈神经⽹络；
• 着⽹络中是没有回路的——信息总是向前传播，从不反向回馈；

递归神经网络

• 有⼀些⼈⼯神经⽹络的模型，其中反馈环路是可⾏的；
• 设计思想，是具有休眠前会在⼀段有限的时间内保持激活状态的神经元；
  • 这种激活状态可以刺激其它神经元，使其随后被激活并同样保持⼀段有限的时间。
  • 这样会导致更多 的神经元被激活，随着时间的推移，我们得到⼀个级联的神经元激活系统；
  • 因为⼀个神经元的 输出只在⼀段时间后⽽不是即刻影响它的输⼊，在这个模型中回路并不会引起问题
• 递归神经⽹络⽐前馈⽹络影响⼒⼩得多，部分原因是递归⽹络的学习算法（⾄少⽬前为⽌） 不够强⼤；
• 但是递归⽹络仍然很有吸引⼒。它们原理上⽐前馈⽹络更接近我们⼤脑的实际⼯作；