反向传播算法原理(BP算法)(直观易懂)

原创已于 2023-02-12 23:49:58 修改 · 1.5k 阅读

17 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #深度学习 #pytorch

于 2023-01-26 01:30:55 首次发布

本文介绍了反向传播（BP算法），它是神经网络最重要的算法，是求偏导的过程，核心是计算图。文中通过具体例子展示了前馈过程和偏导数的计算，还指出BP算法可构建复杂计算图，具有弹性，只需计算原子算子偏导就能传播导数实现计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

反向传播(Back Propagation、BP算法)

反向传播是对于神经网络来说最重要的算法
反向传播是求偏导的过程
反向传播的核心是计算图（如下图所示）

a和b：输入量/权重，可经一系列运算得到e=(a+b) $∗\ast$ (b+1)
在计算图中每一步的计算只能进行原子计算（不能被分割的运算）
在这里插入图片描述

假设a=1、b=2,从节点a出发，首先计算c=a+b=1+2=3,d=b+1=2+1=3，最后可得节点e= $c∗c\ast$ d=3x3=9，这个过程叫做前馈。

求节点c时，一共有两条路径，即 $∂c∂a\frac{\partial c}{\partial a}$ =1和 $∂c∂b\frac{\partial c}{\partial b}$ =1。

求节点d时，只有一条路径，即 $∂d∂b\frac{\partial d}{\partial b}$ =1。

求节点e时，一共有两条路径，即 $∂e∂c\frac{\partial e}{\partial c}$ =d=3和 $∂e∂d\frac{\partial e}{\partial d}$ =c=3。

最终目标要求 $∂e∂a\frac{\partial e}{\partial a}$ 和 $∂e∂b\frac{\partial e}{\partial b}$ ，可以把a到e的所有路径上的偏导数相乘，就是 $∂e∂a\frac{\partial e}{\partial a}$ ，即 $∂e∂a\frac{\partial e}{\partial a}$ = $∂e∂c\frac{\partial e}{\partial c}$ $⋅\cdot$ $∂c∂a\frac{\partial c}{\partial a}$ =3x1=3（链式法则），从b到e一共两条路径（b->c->e,b->d->e），将这两条路径上算出来的偏导数相加就是 $∂e∂b\frac{\partial e}{\partial b}$ ，即 $∂e∂b\frac{\partial e}{\partial b}$ = $∂e∂c\frac{\partial e}{\partial c}$ $⋅\cdot$ $∂c∂b\frac{\partial c}{\partial b}$ $+$ $∂e∂d\frac{\partial e}{\partial d}$ $⋅\cdot$ $∂d∂b\frac{\partial d}{\partial b}$ =3x1+3x1=6。