师兄怎么办

指数加权平均是一种时间序列数据的加权计算方法，其核心特点是数据权重随时间呈现指数级衰减。近期数据获得更高权重，而早期数据影响逐渐减弱，通过衰减因子β（0<β<1）控制历史数据权重分布。β值越小（如0.1），曲线越贴近原始数据但抗噪性差；β值越大（如0.98），平滑效果越强但滞后越明显。相比普通平均的等权重计算，指数加权平均能更敏感地反映短期趋势变化，适用于需要动态平衡历史与当前数据的场景，如神经网络优化、温度趋势分析等。数学推导表明，该方法通过递推公式实现权重指数衰减，总权重收敛于1。

Adagrad（Adaptive Gradient Algorithm）是一种自适应学习率的优化算法，其核心思想是针对不同参数自动调整学习率，适合处理稀疏数据和不同参数梯度差异较大的场景

随机梯度下降法（SGD）是神经网络中用于优化参数的一种方法，通过沿梯度方向更新参数来最小化损失函数。然而，SGD在处理非均向函数时效率较低，容易陷入局部最小值。为解决这一问题，引入了动量优化器（Momentum），它通过引入物理中的动量概念，利用历史梯度信息调整更新方向，使得优化过程更加平滑，有助于跳出局部极小值并加快收敛速度。Momentum方法通过指数加权平均累计历史梯度，减少了震荡并提高了优化效率。在实际应用中，Momentum的公式经过简化，省略了部分计算步骤，降低了计算复杂度和代码实现难度，同时与

承接上篇文章的理论知识，现在我们来介绍如何用代码实现。

有了上面的基础，我们就可以看一下各个层是如何反向传播的了，首先是点乘层Affine，我们来复习一下，矩阵的乘积运算的要点是使对应维度的元素个数一致。另外，在各个变量的上方标记了它们的形状（比如，计算图上显示了X的形状为(2,)，X·W的形状为(3,) 等）。需要注意的是，偏置在正向传播时是被分别加在dot(X,W)的各个数据之上，因此，反向传播时，各个数据的反向传播的值需要汇总为偏置的元素。反向传播时，会将上游的值乘以−y^2（正向传播的输出的平方乘以−1 后的值）后，再传给下游。

有了之前的经验，我们继续手写数字识别的python实现

介绍神经网络的正向推理的模拟演练过程

在文章中，我们大致了解神经网络的正向信息传导、反向传导以及学习过程的大致流程，现在我们正式开始进行代码的实现，首先我们来实现第一步的运算过程模拟讲解：正向传导。本次代码实现将以“手写数字识别”为例子。

我家AI（自己开发的一个话痨聊天机器人）一直在霸占我的电脑，所以准备给它搞个身体移植过去，打算以arduino来控制舵机，树莓派来当作大脑进行深度学习以及信息处理等，控制舵机总不会偏离的一个算法就是PID算法，名字听起来深奥高级，但其实原理简单地很，下面尽量以例子讲解原理，间接推理下公式，最后，附上我家AI下半身guo照：下面是正文————————————————一.定义 百度百科中的定义为：在过程控制中，按偏差的比例（P）、积分（I）和微分（D）进行控制的PID控制器（亦...

最近一直在搞一个属于自己的智能AI（类似siri）代码优化了N次之后准确率终于稳定在了98.9999%研究算法模型自己撸出来的代码比网上ctrl c+v下来就当自己写的调用别人写好的库的劣质代码爽得不止一点半点整理下这个过程中所用到的各种小知识吧下面是正文————————————————一.卷积在神经网络中的作用 卷积神经网络通常在计算机视觉领域上应用最多，在视觉分类应用中尤为突出，譬如以下图示： ...

在监督学习中Logistic回归算法很多人都以为是回归算法其实Logistic回归算法是一个分类算法，至于为什么会叫这个名字是因为悠久的历史原因......悠久到百度都搜不出（欢迎打脸）.....——————————————下面是正文————————————————一.数据集 假设我们手上有一个数据集，该数据集是某幼稚园的学生入学考试成绩单（两个科目），而这两个...

在监督学习的学习过程中，比较常用的是梯度下降法但是对于参数较少的训练集来说（约莫1-1000左右个参数），正规方程可能会更加适合正规方程可以一步到位，直接计算出使代价函数值最低的参数值而不再需要像梯度下降一样进行迭代下面给出推导过程——————————————下面是正文————————————————一.推导过程 以多变量线性回归为例子，可以将假设函数设定为：...

机器学习可大致分为监督学习和无监督学习、半监督学习几类其中监督学习主要用在处理分类问题以及回归问题以下将通过举例监督学习中一个简单的回归问题，来了解机器学习中各种深奥概念——————————————下面是正文————————————————一.宏观 黄金会根据其重量、纯度、加工质量等各种因素从而影响最终的价格，假设我们现在单纯考虑黄金的重量对于价格的影响，那么现在刚...

众所周知，数字图像又称为数码图像，是二维图像用有限数字值像素的表示。其中，像素是数字图像的基本单元。而一幅模拟图像如果想要变成一幅数字图像，就需要经过数字化才能得到，数字化包括两个过程：采样和量化。 采样是把空间上的连续的图像分割成离散的像素的集合，采样的间隔越小，图像的精细度就越大；采样的间隔越大，精细度就越小。 ...

在大学的时候学习了机器视觉的相关知识但对于机器学习的认知还只停留在感念层次上现在乘着有时间，把以前的缺漏补上~———————————————下面是正文————————————————一.机器学习 首先来阐述下本人对于机器学习的理解：机器学习就是使机器通过 “ 学习 ”（也有些书籍成为 “ 训练 ”）来了解某种事物的特征，从而在人类输入一个未知信号时可以 “ 推理” ...

激活函数（也有书籍称为传递函数）的作用是决定如何激活输入信号，而输入信号则是加权输入信号和偏置的总和，激活函数在选择上对于后面的运算占据十分重要的地位，例如如果选择了不恰当的激活函数，将会导致后面计算梯度时无法计算出偏差而导致训练失败，模型准确率不高等一系列问题，如此，在这里网列几种常见的激活函数，以用参考。———————————————下面是正文————————————————...

神经网络在进行学习的过程中，会通过前一次学习所得到的权重参数作为一个指标来进行下一轮的学习，如果学习到的权重参数已经是最优解的话，那么学习将结束，得出最优权重参数，继而进行泛化能力（指处理未被学习过的数据是否准确的能力）的测试。所以，神经网络以某个指标为基准寻求最优权重参数，而这个指标即可称之为 “损失函数” 。(例如：在使用神经网络进行识别手写数字时，在学习阶段找出最佳参数中，最常...

之前写过一篇文章：【机器学习】机器学习是什么意思里面只是简单地说明了一下机器学习是什么然而很多初学者误以为，机器学习=神经网络其实机器学习是一个学科，里面包含了深度学习、深度神经网络、神经网络等......而神经网络可以说是人工智能的 “ HELLO WORLD！”所以了解什么是神经网路还是十分必要的~——————————————下面是正文————————————————...

俗话说“物以类聚，人以群分”，这句话在K-means聚类算法里面得到了充分的继承。而K-means算法的实际应用范围可谓是大到无法估量，基本可以说，只要你想不到，没有聚类聚不起来的东西！ 比如衣服制造商可以通过分类，把某个身高体重的人群划为一类，然后根据这些人群的需求制作出适合尺寸的衣服，此后在网上买衣服，只需报给商家身高体重，就有相应的S\M\L码数衣服满足你的需求...