多层感知机的梯度计算-CSDN博客

本文链接：https://blog.csdn.net/qq_37236745/article/details/103956083

具有多层输出的感知机如下图所示：
图中节点上的符号表示的含义是：

$x^1_k$ 代表第1层上的第k个节点
$O^1_k$ 同样代表第1层上的第k个节点

若能求出 $\frac{\nabla E}{\nabla w_{jk}}$ 的结果，便可知道所有的梯度信息

Derivative

首先我们定义 $E=\frac{1}{2}\sum_i(O^1_i - t_i)^2$
$KaTeX parse error: No such environment: align* at position 8: \begin{̲a̲l̲i̲g̲n̲*̲}̲ \frac{\nabl…$
由推导结果可看出，一条边上的输出结果只与该线上的输入值 $x^0_j$ 和 $O^1_k$ ，因此对于一个多输出的感知机，对比单输出的感知机，改变了输出节点上的取值。单层为 $O_0$ ，多层为 $O_k^1-t_k)$

import torch
import torch.nn.functional as F

x = torch.randn(1,10) # dim=1,len=10, x为[1,10]的矩阵
w = torch.randn(2, 10, requires_grad=True) # w为[2,10]的矩阵

o = torch.sigmoid(x@w.t()) # o为[1,2]的矩阵
print("o.shape: ", o.shape)

loss = F.mse_loss(input=o, target=torch.ones(1, 2))
print("loss: ", loss)
loss.backward()
print("w.grad: ", w.grad)