深度学习简介

什么是神经⽹络

              ⼈⼯神经⽹络（ Artificial Neural Network， 简写为ANN）也简称为神经⽹络（NN），是⼀种模仿⽣物神经⽹络结构和功能的 计算模型。⼈脑 可以看做是⼀个⽣物神经⽹络，由众多的神经元连接⽽成。各个神经元传 递复杂的电信号，树突接收到输⼊信号，然后对信号进⾏处理，通过轴突输出信号。下图是⽣物神经元示意图：

         那怎么构建⼈⼯神经⽹络中的神经元呢？

        受⽣物神经元的启发，⼈⼯神经元接收来⾃其他神经元或外部源的输⼊，每个输⼊都有⼀个相关的权值(w)，它是根据该输⼊对当前神经元的重要 性来确定的，对该输⼊加权并与其他输⼊求和后，经过⼀个激活函数f， 计算得到该神经元的输出。 那接下来我们就利⽤神经元来构建神经⽹络，相邻层之间的神经元相互连 接，并给每⼀个连接分配⼀个强度，如下图所示：

        神经⽹络中信息只向⼀个⽅向移动，即从输⼊节点向前移动，通过隐藏节 点，再向输出节点移动，⽹络中没有循环或者环。其中的基本构件是：

         输⼊层：即输⼊x的那⼀层

        输出层：即输出y的那⼀层

        隐藏层：输⼊层和输出层之间都是隐藏层

特点是：

        同⼀层的神经元之间没有连接。

         第N层的每个神经元和第N-1层的所有神经元相连(这就是full connected的含义)，第N-1层神经元的输出就是第N层神经元的输⼊。

        每个连接都有⼀个权值。

 神经元是如何⼯作的？

         ⼈⼯神经元接收到⼀个或多个输⼊，对他们进⾏加权并相加，总和通过⼀ 个⾮线性函数产⽣输出。

        所有的输⼊xi，与相应的权重wi相乘并求和：

        将求和结果送⼊到激活函数中，得到最终的输出结果：