my blogs include programming, math, physics.回首过去，放眼未来。

1. 有限元中涉及的矩阵、向量求导(虽然科目不同，但涉及内容相同，顺带着一起说了)k矩阵q为列向量trans(q)kq/2trans(q)kq/2 = [(u1*k11+u2*k21+u3*k31)*u1 + (u1*k12+u2*k22+u3*k32)*u2 + (u1*k13+u2*k23+u3*k33)*u3]/2trans(q)kq/2对q求导 即trans(q)kq/2对q的每个元素求导 结果为一个列向量而该结果就是trans(q)*k同理，trans(q)kq/2对q...

概率论书上的一道例题风险决策与贝叶斯决策？贝叶斯决策是对风险决策的进一步修正。花钱了解更多的信息，对概率进行修正。某工程项目按合同应在三个月内完工，其施工费用与工程完工期有关。假定天气是影响能否按期完工的决定因素，如果天气好，工程能按时完工，获利5万元；如果天气不好，不能按时完工，施工单位将被罚款1万元；若不施工就要付出窝工费2千元。根据过去的经验，在计划实施工期天气好的可能性为30%。为了更好地掌握天气情况，可以申请气象中心进行天气预报，并提供同一时期天气预报资料，但需要支付资料费80.

贝叶斯泊松雅各布伯努利(雅可伯努利)高斯惠更斯切比雪夫奈曼费希尔

7. 网络优化与正则化优化问题：损失函数是一个非凸函数(比如二维损失函数L(w1,w2)会有多个山峰 山谷)、梯度消失、参数过多泛化问题：采用正则化降低过拟合7.1非凸函数凸函数是指一维函数只有一个波峰或波谷，二维函数只有一个山峰或山谷。而实际中，很多损失函数都是非凸函数。一维函数 y=x+x**2-x**3有两个极值点二维函数 z=x**2-y**2 (马鞍面)马鞍点是该维度的极小值点，即y=0，z=x**2马鞍点是该维度的极大值点，即x=0，z=-y**27.2优化算法.

参数通过梯度下降进行更新，梯度消失导致参数无法更新1.梯度特别小导致无法更新参数z = wx-2y = σ(z) σ是标准logistic函数训练样本 (1,0.8)，所以y_target = 0.8初始值w=-8y = σ(-8*1 - 2) ≈ 0.00005，可见与目标值相差很大，需要进行训练参数w损失函数为平方损失函数w通过梯度下降法进行更新学习率 lr=0.1可以看出w≈-8，∂L/∂w≈-7E-5这就是梯度接近于0，w无法通过梯度下降法...

以下都以该式进行讨论，当x=1，w=0，b=0时，计算f关于w的梯度1. 数值微分数值微分有多种方法，这里使用差分方法一阶中心差分公式 x=1，w=0，b=0时 取Δw=0.001 计算出f关于w的梯度约为0.25精确求导公式 x=1，w=0，b=0时 计算出f关于w的梯度为0.252.符号微分我使用了sympy库进行了展示，但其内部代码我还不了解。import sympy as spw,x,b = sp.symbols('w,x,b')f ...

主要内容来自MOOC北京大学课程学习1. 对比CNN与RNN卷积核 kernel循环核 cellCNN就是卷积核提取特征，送入全连接网络，卷积核参数空间共享RNN就是循环核提取特征，送入全连接网络，循环核参数时间共享2. RNN的数学模型也可以使用其他函数，我这里只是举个例子。三个权重矩阵与偏置向量只有在反向传播时才会更新。3. 输入一个字母预测一个字母输入a预测b输入b预测c输入c预测d输入d预测e输入e预测a首先对字母进行编码(用独热码编码)10000

去年秋天看过这个视频，现在再好好看看1. 专家系统与神经网络区别要求：对iris进行分类专家系统将经验编写成条件语句，输入当前鸢尾花的特征，输出其类别神经网络通过训练集训练好，输入当前鸢尾花的特征，输出其类别2. 神经网络对iris进行分类输入是四个特征：花萼长、花萼宽、花瓣长、花瓣宽输出：狗尾草鸢尾、杂色鸢尾、弗吉尼亚鸢尾y = x*w + b(1,3) = (1,4)*(4,3) + (1,3)...

6.循环神经网络前馈神经网络、卷积神经网络都是单向传递的。而时序数据不仅与当前输入相关，还和过去一段时间的输出相关。前馈神经网络、卷积神经网络的输入 输出维数都是固定的。而时序数据的长度一般是不固定的。所以用循环神经网络处理时序数据。由RNN扩展出两种记忆网络模型：递归神经网络、图网络RNN的参数学习算法：随时间反向传播算法RNN是指 Recurrent NN 循环神经网络/递归神经网络RecNN是指 Recursive NN 递归神经网络6.1 给网络增加记忆能力延时神经网络 .

4 前馈神经网络4.1神经元z = trans(w)x+bMP神经元 f(z)取0或1，该激活函数为指示函数取其他激活函数就构成其他神经元激活函数其他种类：sigmoid型(logistic函数、tanh函数、hard-logistic函数、hard-tanh函数)ReLU型(ReLU函数、带泄露的ReLU、带参数的ReLU、ELU函数、Softplus函数)Swish函数GELU单元Maxout单元偏置偏移：Tanh 函数的输出是零中心化的（Zero-Centered），而

绪论深度学习是机器学习的一个分支，是指一类问题以及解决这类问题的方法。和传统的机器学习不同，深度学习采用的模型一般比较复杂，指样本的原始输入到输出目标之间的数据流经过多个线性或非线性的组件。贡献度分配问题（Credit Assignment Problem，CAP），指每个组件的贡献是多少。一种可以比较好解决贡献度分配问题的模型是人工神经网络（Artifi-cial Neural Network，ANN），也简称神经网络。神经网络和深度学习并不等价。深度学习可以采用神经网络模型，也可以采用其它模型

也许只复习这一次。样本x，最优函数f*(x)，预测的标签值为样本x，最优的概率分布函数f*y(x)，预测的标签条件概率为准确率，|D'|是测试集的大小，I为指示函数真实的映射函数真实的条件概率分布假设空间为一个参数化的函数族，θ为参数最优函数属于该假设空间一致性或期望风险，L为损失函数模型的输出标签与训练样本的标签相同的概率分布经验风险argmax(f(x))：函数f(x)取最大值时的自变量。同理，argmin经验风险最小时的参数为θ* 风险最小时的参数为θ* ...

八股搭建网络：我觉得是指按照固定模式搭建神经网络，八股只是呆板的意思，并不是按照八个步骤搭建。我们抨击的应该是八股取士制度，而不是八股文。

维纳：控制论创始人，香农：信息论创始人，图灵：计算机科学的创始人1. 熵entropy热力学：分子状态的混乱程度信息论：信源不确定性的大小2.信息熵信息是用来消除随机不确定性的东西信源是产生信息的实体即(1) p越大，信源的不确定性越小 (2) 函数f满足可加性对数函数满足这两个条件 f(P) = log(1/P) = -log(P)log一般以2为底数，在sklearn中一般以e为底数3.交叉熵神经网络输出概率分布的损失函数4.相对熵...

chapter 11.1类别标签的ground truth与gold standardground truth：可翻译为地面实况等。在机器学习领域一般用于表示真实值、标准答案等，表示通过直接观察收集到的真实结果。gold standard：可翻译为金标准。医学上一般指诊断疾病公认的最可靠的方法。在机器学习领域，更倾向于使用“ground truth” 。而如果用gold standard这个词，则表示其可以很好地代表ground truth。1.2 验证集验证集与测试集类似，也是用于评估

后续会继续添加...

我在此使用一个一维线性函数举例 即y=wx+1训练集={(3,10)} 训练集也就一个元素1. 随机梯度下降法目标值 y_ = 10输出值 yLoss = (y - y_)**2∂Loss/∂w = 2*(y - y_)*xw_new = w_old - lr*∂Loss/∂w 学习率lr=0.1初始值w=5，y=3*5+1=16，∂Loss/∂w=2*(16 - 10)*3=36w=5-0.1*36=1.4，y=3*1.4+1=5.2，∂Loss/∂w=2*(5.2 - 1...