一个搬运知识的笨小孩

了解导数和偏导数在优化中的作用

计算神经网络的交叉熵损失和模型精确度

给神经元添加激活函数

简要实现隐藏层

简要实现单层神经元

简要了解神经网络原理（包含反向传播算法推导）、简要实现使用神经网络拟合函数

简要了解einsum

利用labelme制作数据集并进行信息的简单提取

简要了解numpy array和pytorch tensor的区别

了解Unet构建过程

简要了解欠拟合、过拟合、正则化、学习曲线

简要了解模型评估的几个指标

简要了解多项式回归并实现该原理

简要了解逻辑回归的底层原理

简要理解感知机底层原理

简要了解最小二乘法并实现原理

图像->cell梯度->cell梯度直方图 ->cell特征向量 ->block特征向量->图像特征向量。

简要了解卷积神经网络

简要理解深度神经网络的底层原理

上图第一个是识别数字1的模型（参数W已确定，即紫色线的值是非0，其他线为0），对应到图中，就是与第一个神经元连接的所有线中只有第五根线是紫色的（就是w5是非0的）、与第二个神经元连接的所有线中第五根线是紫色的（就是w13是非0的），即识别数字1的模型参数中W5、W13、W18、W44、W52、W59为非0的，其余值都为0，如果送入的像素刚好都能和紫色线匹配上，则会达到阈值，使得最后一个神经元被激活，则判断送入的数字为1，如果只有部分像素能和紫色线匹配上则判断送入的数字不是1。

声明：以下为《大话计算机》作者冬瓜哥课程视频截图，仅供学习。

简要了解正规方程法，简单比较正规方程法与梯度下降法

简单了解特征缩放的方法，多元梯度下降算法

简要了解梯度下降法的原理

什么是模型？通过对假设函数中参数的优化得到最优模型，优化过程通过最小化代价函数来实现

监督学习与无监督学习的根本区别：监督学习的数据既有特征又有标签，而非监督学习的数据中只有特征而没有标签。

简要介绍过拟合，正则化

个人笔记：从零开始构建简单的神经网络，含全部代码和部分解释