深度学习---双层神经网络中矩阵的运算及其含义记录

最新推荐文章于 2025-05-18 14:09:45 发布
原创 最新推荐文章于 2025-05-18 14:09:45 发布 · 3.5k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #神经网络 #算法

深度学习---双层神经网络中矩阵的运算及其含义记录


在看深度学习过程的时候，经常会因为各种矩阵计算搞得头晕，所以就想着梳理一遍并且记录一下，便于自己后续的学习。

神经网络的正向传播与反向传播

神经网络中的正向传播和反向传播都运用了不少的矩阵计算以及数学知识，我期望能够将每一步的含义都记录下来。希望在后续的学习中能够对不同矩阵的意义都能够很熟练的了然于心。 这可能算是矩阵微积分的知识？ 目前我还不太明白。。。总之按照自己的理解先记录下去吧~
双层神经网络的结构图
那么就用张图来当这次的demo吧。 如果是一个样本的计算的话，其实还没有那么头疼， 如果是多个样本堆叠之后进行一次运算的话，我就会因为分不清楚每个矩阵的含义和维度开始迷茫。。
总之！就是要记录一下每个矩阵的含义 以及维度，还有每一步运算的意义！帮助理解! 就是这样！ 有点语无伦次！不太会说话了!

现在！给出我们输入值的假设！ 每个训练样本有m个特征值 ， 共有n个训练样本！
第一层神经网络具有k个神经元节点，第二层神经网络只有一个节点。

正向传播

正向传播算是没那么复杂。。

第一层的权重矩阵

先来说明一下 W1 矩阵 (第一层神经网络中的权重, 上标为1 代表它与第一层神经网络有关)
[ ⋯ ⋯ w 1 T ⋯ ⋯ ⋯ ⋯ w 2 T ⋯ ⋯ ⋮ ⋮ ⋮ ⋮ ⋮ ⋯ ⋯ w k T ⋯ ⋯ ] \left[ \begin{matrix} \cdots& \cdots & w_{1}^T&\cdots &\cdots \\ \cdots& \cdots & w_{2}^T & \cdots &\cdots \\ \vdots& \vdots & \vdots & \vdots &\vdots \\ \cdots& \cdots & w_{k}^T & \cdots &\cdots \\ \end{matrix} \right] ⎣⎢⎢⎢⎡​⋯⋯⋮⋯​⋯⋯⋮⋯​w1T​w2T​⋮wkT​​⋯⋯⋮⋯​⋯⋯⋮⋯​⎦⎥⎥⎥⎤​
这个矩阵是一个(k,m)的矩阵，因为这个矩阵的每一行代表着一个神经元节点，每一列代表着一个神经元节点中的一个特征值的权重

第一层的输入矩阵

然后是 X1 矩阵 (也可记作A0，和后续的输入矩阵作比较就明白了~）
[ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ x 1 x 2 x 3 ⋯ x n ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ] \left[ \begin{matrix} \vdots& \vdots &\vdots & \vdots &\vdots \\ \vdots& \vdots & \vdots & \vdots &\vdots \\ x_{1} & x_{2} & x_{3} & \cdots & x_{n} \\ \vdots& \vdots & \vdots & \vdots &\vdots \\ \vdots& \vdots & \vdots & \vdots &\vdots \\ \end{matrix} \right] ⎣⎢⎢⎢⎢⎢⎢⎢⎢⎡​⋮⋮

最低0.47元/天 解锁文章

200万优质内容无限畅学
神经网络训练算法的调用,神经网络中的矩阵运算
aifans_bert的博客
10-17 2385
为了得到f中的未知参数的最优估计值，一般会采用最小化误差的准则，而最通常的做法就是梯度下降，到此为止都没问题，把大家困住了很多年的就是多层神经网络无法得到显式表达的梯度下降算法！二是随着数据的增长，将出现所谓的“数据饱和”现象。使用神经网络训练，一个最大的问题就是训练速度的问题，特别是对于深度学习而言，过多的参数会消耗很多的时间，在神经网络训练过程中，运算最多的是关于矩阵的运算，这个时候就正好用到了GPU，GPU本来是用来处理图形的，但是因为其处理矩阵计算的高效性就运用到了深度学习之中。
神经网络中的矩阵运算,神经网络的神经元结构
shirley67269的博客
08-11 2358
由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的见解爱发猫 www.aifamao.com。目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。"如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方式进行比较，就可以看出人脑具有以下鲜明特征：1.巨量并行性。...
使用矩阵运算驱动神经网络数据加工链
tyler_download的专栏
03-02 1294
对于学过线性代数的人来说，矩阵运算绝对算得上是一场噩梦。特别是做矩阵乘法时，两个大方块，每个方块里面有好多数字，你需要把一个方块中一行里的所有数字跟另一个方块里面的所有数字做乘法，然后再求和，头昏脑涨的算了半天才得到新矩阵的一个数值，忙活了半天，耗费了大量精力后，你发现居然算错了，只能再来一遍，那时候我想你恨不得一把火把代数课本付之一炬。 上一节，我们手动计算了一个只有两层，每层只有两个节点的神...
双层BP神经网络预测算法与数据归一化实践
最新发布
weixin_30700095的博客
05-18 811
BP神经网络（Back Propagation Neural Network）是一种多层前馈神经网络，通过误差反向传播算法（Back Propagation）进行训练。它是目前应用最广泛的神经网络模型之一，能够解决各种非线性问题，尤其在函数逼近、模式识别、数据分析等领域表现出色。
机器学习知识总结—— 5. 神经元网络与矩阵运算
老程的技术笔记
07-09 3592
这一章的知识点其实相当于知识总结，因为基础的内容基本已经在前面的章节中探讨过。但是我这两天思考了一下，觉得有必要把神经元的知识点全部抓出来讨论一下，做一个相当于系统性的概述，这样我们在之后的讨论中，就不会涉及到太多数学性的话题，而更多的可以放在拓扑结构或其他内容上了，比如具体的应用上。 文章目录关于前面内容的回顾构建复杂的函数模型矩阵与并行计算计算图与神经元网络的关系 关于前面内容的回顾 首先，在前面的章节里，我论述过一个完整的神经元的计算单元，其运算过程如下： Created with Raphaël.
【神经网络基础】矩阵的运算
c972708579的博客
03-10 360
一、矩阵的加法与减法：1、运算规则简言之，两个矩阵相加减，即它们相同位置的元素相加减！注意：只有对于两个行数、列数分别相等的矩阵（即同型矩阵），加减法运算才有意义，即加减运算是可行的．2、 运算性质 （假设运算都是可行的）满足交换律和结合律交换律；;
深度学习吴恩达课程笔记(二)-浅层神经网络、深层神经网络
10-25
在矩阵运算中，需要注意保持正确的维数匹配，以确保计算的准确性。 激活函数是神经网络中的关键元素。sigmoid函数常用于二元分类的输出层，但容易出现梯度消失问题。tanh函数在计算速度上优于sigmoid，并且适用于...
两层多层感知器 (MLP) 神经网络的矩阵实现：两层多层感知器 (MLP) 神经网络的矩阵实现。-matlab开发
05-30
在MATLAB中，矩阵操作是其核心特性之一，因此利用矩阵运算来实现神经网络可以极大地提高计算效率。以下是基于MATLAB实现MLP神经网络的关键步骤和知识点： 1. **数据预处理**： 在开始之前，你需要将输入数据和目标...
吴恩达深度学习笔记：浅层神经网络(Shallow neural networks)3.1-3.5
weixin_43597208的博客
03-25 1628
本周你将学习如何实现一个神经网络。在我们深入学习具体技术之前，我希望快速的带你预览一下本周你将会学到的东西。如果这个视频中的某些细节你没有看懂你也不用担心，我们将在后面的几个视频中深入讨论技术细节。现在我们开始快速浏览一下如何实现神经网络。上周我们讨论了逻辑回归，我们了解了这个模型(见图 3.1.1)如何与下面公式 3.1 建立联系。接下来使用𝑧就可以计算出𝑎。我们将的符号换为表示输出𝑦^ ⟹ 𝑎 = 𝜎(𝑧),然后可以计算出 loss function 𝐿(𝑎, 𝑦)。
全球名校课程作业分享系列(4)--斯坦福计算机视觉与深度学习CS231n之双层神经网络完成图像多分类
寒小阳
01-23 1万+
课程作业原地址：CS231n Assignment 1 作业及整理：@林凡莉 && @Molly && @寒小阳 时间：2018年1月。 出处：http://blog.csdn.net/han_xiaoyang/article/details/79139395 1 任务 在这个练习里，我们将实现一个完全连接的神经网络分类器，然后用CIFAR-10数据集进行测试。 2 知识点
神经网络矩阵运算公式总结
芝诺兔子的博客
02-18 529
神经网络矩阵微分运算公式总结
BP神经网络中求偏导的矩阵表示
07-19
本文推导了BP神经网络反向传播算法，并用矩阵进行表示，文章中先介绍矩阵偏导数的知识，再将其用到推导中。
矩阵及其运算在卷积神经网络（CNN）中的应用与启发
upc_ws云边牧风是文森
10-07 5473
摘要1. 引言1.1 研究背景和意义1.2 报告结构2. 卷积神经网络（CNN）简介2.1 CNN基本原理2.2 CNN的优势和应用领域3. 矩阵在CNN中的应用3.1 图像表示与卷积运算3.2 特征提取与矩阵分解3.3 参数优化与梯度计算3.4 图像生成与矩阵合成4. 矩阵运算在CNN设计与优化中的启发4.1 模型参数组织与计算优化4.2 矩阵分解与特征选择4.3 并行计算与加速技术4.4 矩阵运算与推理硬件的关系5. 实际应用案例5.1 图像分类与目标检测5.2 人脸识别与姿态估计5.3 图像生成与风格
深度学习-矩阵计算
qq_55047733的博客
01-23 431
跟沐神学AI-矩阵计算
5. 自动求导
热门推荐
qq_54932411的博客
09-13 4万+
⑧ 即使构建函数的计算图需要通过Python控制流（例如，条件、循环或任意函数调用），仍然可以计算得到的变量的梯度。⑥ 在深度学习中，目的不是计算微分矩阵，而是批量中每个样本单独计算的偏导数之和。② 在外面计算y关于x的梯度之前，需要一个地方来存储梯度。④ 通过调用反向传播函数来自动计算y关于x每个分量的梯度。① 例子1是一个线性回归的例子，如下图所示。① b是之前计算的结果，是一个已知的值。⑦ 将某些计算移动到记录的计算图之外。⑤ 计算x的另一个函数。
【神经网络】矩阵乘法的应用详解
lph159的博客
05-10 2429
本文详细介绍了多维数组的概念、矩阵乘法的基本原理及其在神经网络中的应用。首先，探讨了使用NumPy库创建和操作一维及二维数组的方法，包括如何查询数组的维度和形状。接着，详细解释了矩阵乘法的计算过程，包括具体的数学公式和通过NumPy实现的示例。文中还讨论了矩阵乘法在维度匹配方面的要求以及特殊情况下矩阵与向量的乘积。最后，通过一个简单的神经网络模型，展示了矩阵乘法如何促进神经网络中信息的传递和处理，强调了其在现代科学计算中的重要性和实用性。
使用NumPy工具实现神经网络中的矩阵运算
多头注意力探索Now
10-20 443
使用NumPy进行多维数组运算 可以利用这工具进行实现神经网络的实现
【深度学习基础】矩阵运算
景风眠的博客
10-10 1487
矩阵运算的本质就是空间变换。
【神经网络】神经网络中的矩阵的理解
huanqing2010的专栏
05-14 1万+
在《深度学习入门：基于Python的理论与实现》书中，看到讲解矩阵的章节，加深了我对矩阵的理解。 脱离应用理解数学是很难的。将矩阵放在深度学习的环境里可以较好的理解矩阵的含义。 这里假设你已经学过矩阵。 1.三层神经网络 对于神经网络，我更倾向于理解为：因素（输入层）、影响因子（权重），结果（输出层），这更贴近实际中的因果关系。 先假设有如下矩阵： 根据矩阵的计算规则，画出模型图，如下： 输入层是 x1 与 x2，可理解为因素，对于每个因素，都有3个权重，组合起来会导致3个结果..
MATLAB实现双层神经网络学习逻辑操作教程
MATLAB提供了大量针对矩阵运算和数据处理的函数，尤其在神经网络和深度学习方面拥有专门的工具箱（如Deep Learning Toolbox），使得开发和测试复杂的算法变得更加容易。 资源中包含的源码经过了专业的教师审定，...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值