cs231n训练营学习笔记（2）

最新推荐文章于 2022-08-04 09:20:40 发布
最新推荐文章于 2022-08-04 09:20:40 发布
阅读量240 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： cs231n 文章标签： cs231n
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29843303/article/details/103343602
本文深入探讨了图像分类数据及标签的概念，解析了L1、L2范数的应用场景，阐述了KNN算法原理及其在图像分类中的局限性，介绍了CIFAR-10数据集，并讨论了超参数选择与数据集划分的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

1. 图像分类数据和label分别是什么  图像分类存在的问题与挑战

2.  L1范数，L2范数数学表达式  这两种度量分别适用于什么情况

3. 描述近邻算法KNN  NN算法复的杂度 为什么很少使用在图像中以及它存在的问题

4. 了解cifar10数据集

5. 超参数怎么选择合适（即数据集如何划分）

1. 图像分类数据和label分别是什么  图像分类存在的问题与挑战

数据就是输入的图像像素，label是代表图像中物体的类别标签

问题和挑战就是计算机看到的是一大片像素值，它很难理解这些像素代表的意义，即语义鸿沟

而且还有看到目标的角度变化，遮挡，变形，光线变化，和背景很像，类内差异

2.  L1范数，L2范数数学表达式  这两种度量分别适用于什么情况

旋转坐标轴（矩阵乘法）会改变L1距离，但不会改变L2距离

L1适用于输入特征向量的值有一定意义的情况，比如对员工分类，特征向量各个数值代表薪资、工作年限之类的

L2适用于向量中各值没有什么特殊意义，它的距离更自然

3. 描述近邻算法KNN  NN算法复的杂度 为什么很少使用在图像中以及它存在的问题

数据驱动类算法，是比深度学习更广义的理念，所以在学习神经网络以及CNN前，先学习了简单的线性分类器，NN,KNN

在训练分类器时，什么都不做，只是读数据，时间复杂度是O(1)

在预测时，读入新的数据，对比前面训练时读进去的数据，对比距离，找到最近的，即NN，最近邻方法，时间复杂度是O(N)，因为要和所有的训练数据对比

正常我们希望训练时间长而预测时间短，因为训练可以离线进行，而预测为保证实时性用时越短越好。

KNN是在NN的基础上，不是计算距离最近的点，而是距离最近的N个点，这N个点里哪个类更多（这是简单的投票，也可以加权投票），预测数据就被分到那个类里，以此避免噪声离群点影响预测结果。

在图像中很少使用KNN的一个原因是维度灾难(curse of dimentionality)，KNN更像是用分类器把样本空间分成几块，如果想要分类效果好，需要样本数据紧密地分布在空间里，不然距离可能会很远，也就是和待测数据不太相似。而为了密集分布，需要的训练数据呈指数增长

4. 了解cifar10数据集

10个类，5万训练集，1万测试集

类分别是：飞机，汽车，鸟，猫，鹿，狗，青蛙，马，船，卡车

5. 超参数怎么选择合适（即数据集如何划分）

对于线性分类器，KNN中K的值，距离函数的选择都是超参数，需要尝试哪个超参数更好

评价更好的标准，比较好的做法是：在训练集上用不同组的超参数训练，然后在验证集上验证，选择表现最好的一组超参数，最好用在测试集上进行测试。

在小测试集上经常使用的方法是交叉验证，但是太废计算资源了，深度学习通常不用这个方法。

如何识别企业的边缘计算联邦学习优势
AI天才研究院
03-27 897
随着信息技术的飞速发展，边缘计算和联邦学习成为了当前研究和应用的热点。边缘计算通过在靠近数据源的边缘设备上进行数据处理和分析，减少了数据传输延迟，提高了系统的响应速度和可靠性。联邦学习则允许不同参与方在不共享原始数据的情况下进行模型训练，保护了数据隐私。本文章的目的在于帮助企业识别其在结合边缘计算和联邦学习方面所具备的优势。范围涵盖了边缘计算联邦学习的核心概念、算法原理、数学模型、实际应用以及相关的工具和资源等方面。本文共分为十个部分。第一部分是背景介绍，包括目的和范围、预期读者、文档结构概述和术语表。
【深度学习基础知识 - 40】CNN为什么比DNN在图像领域更具优势
yanyuxiangtoday的博客
08-29 3615
原因 CNN模型输入的一般都是图像矩阵，然后通过卷积操作进行特征提取，每次卷积都会考虑特征的上下文信息，并且随着模型的加深，从浅层提取的局部特征不断地处理、整合得到深层的高维特征。在这个过程中，特征的整合是缓慢有序发生的。同时，卷及操作还具有平移不变形特性，只管来解释就是：一个物体在图像中的任何区域都能被正确识别。因此，CNN在处理图像特征时候更具优势。 DNN的输入时向量形式，并未考虑到图像的结构信息，每一层都会做一个全局的特征提取，但是由于这个过程并非递进的，因此最终的特征质量并不好，因此难以在图像领
L1范数，L2范数，L2,1范数（向量范数、矩阵范数、正则化）
qq_42340716的博客
08-04 2万+
向量范数，矩阵范数，正则化，特征选择
有关l2,1范数作用的理解
开飞机的小毛驴儿
02-19 3万+
今天和导师讨论问题的时候，说到了l21范数。导数希望我能解释一下，我明白它的作用可是我知道我没有向老师解释清楚，有些失落。今晚就自己总结一下吧，希望下次再有人问我这个问题的时候我能向别人解释清楚。 先看上面l21范数的定义，注意原始矩阵是n行t列的，根号下平方是对列求和，也就是说是在同一行中进行操作的，根号部分就相当于一个l2范数，由此可以看出l21范数实则为矩阵X每一行的l2范数之和。
矩阵L2,1范数及矩阵L2,p范数的求导
m0_37692953的博客
05-29 1万+
矩阵L2,1范数及矩阵L2,p范数的求导2018年03月24日 15:18:06阅读数：446常见的矩阵范数有L1，L2，∞∞范数，F范数和引申出的L2,1范数。而在机器学习的特征选择中，利用选择矩阵的范数对选择矩阵进行约束，即是正则化技术，是一种稀疏学习。L0L0，L1L1向量范数L0L0 范数L0L0 范数是指向量vv中的非0的个数，是一种度量向量稀疏性的表示方法。例如：v=[0,1,1,0,...
[机器学习]L21,L2,核范数
小白
11-24 2万+
前言：因为目前所做的鲁棒凸聚类用到了L1范数，故上一篇文章Lasso重点关注了lasso及其与岭回归的比较，此文将整合各种范数。1. 范数的公式  ref[1]范数就是关于向量或者矩阵的函数，得到的是一个数值。（大致来自知乎）1）向量范数1-范数：，即向量元素绝对值之和。2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方。∞-范数：，即所有向量元素绝对值...
PaddlePaddle飞桨论文复现营——3D Residual Networks for Action Recognition学习笔记
Kevin Pang的博客
08-06 1355
PaddlePaddle飞桨论文复现营——3D Residual Networks for Action Recognition学习笔记 1 背景知识 1.1 C3D C3D是一种3D卷积提取视频特征的方法，从水平(X)、垂直(Y)和时序(T)三个方向三个方面同时提取视频的时空特征，其提取到的特征比常规的2D卷积更自然[1]。缺点就是，因为多了一维“时序(T)”，卷积后会引起参数剧增，对计算机GPU算力要求较大。 P.S: C3D源代码和预训练模型可参考：http://vlg.cs.dartmouth.e
【学习笔记】Lesson2-基于表格型方法求解RL（强化学习7日打卡营-世界冠军带你从零实践）
Kevin Pang的博客
06-26 473
2.1 MDP、状态价值&Q表格 2.1.1 MDP(马尔可夫决策过程)四元组<S,A,P,R> 2.1.2 Q表格：状态动作价值 Q表格就像是一本生活经验手册，上面记录着不同情况（State）下，不同行动（Action）所带来的价值（Reward）。往往同一个行动在不同情况下会产生不同的价值，生活中也是如此。 为了实现最大效益，我们往往不能只看眼前效益，很多时候我们需要关注一系列行动所带来的未来总收益，但只关注未来总收益未必合理，因此，引入了衰减因子γ（伽马），让模型更
ICPC训练联盟2021寒假冬令营(5)_2021.01.22_笔记
qq_19403405的博客
01-22 962
试题链接 点我进入代码提交OJ 学习笔记-高效排序算法( O(nlogn)时间复杂度 ) 算法介绍 归并排序 主要思路 • 归并排序，是把待排序的序列分为若干个子序列，每个子序列是有序的。然后再把有序子序列合并为整体有序的序列。 • 归并排序的算法核心步骤分为两个部分：分解，合并： • 首先，把n 个元素分解为n 个长度为1的有序子表； • 然后，进行两两归并使元素的关键字有序，得到n/2 个长度为2 的有序子表； • 重复上述合并步骤，直到所有元素合并成一个长度为n的有序表 为止。 算法图解 算法代
java程序员刷题知乎-CodingTrivia:CS-441团队项目KeremGurses、UgurcanDemir、BirkanAk
07-01
非常适合刚开始编码的初学者、希望补充大学或训练营教育的学生，或者希望保持技能新鲜或练习面试的经验丰富的用户。 要成为一名成功的程序员，学习计算机科学、软件工程、网络创建和互联网技术。 如果您想成为前端或...
机器学习——L0、L1、L2范数
lovejay7的博客
07-24 1万+
今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。 监督机器学习问题无非就是“minimize your error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的...
机器学习中正则化项L1和L2的直观理解
panghaomingme的博客
01-04 3018
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。下图是P
什么是范数（norm）？以及L1,L2范数的简单介绍
热门推荐
爱喝舒化奶的博客
02-21 13万+
什么是范数？ 范数，是具有“距离”概念的函数。我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。 在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中...
稀疏表示—L1范数理解
leon的修炼之路
10-31 1万+
文章转摘至：http://blog.sina.com.cn/s/blog_47108d1d0100h6oj.html，作者描述了稀疏的L1范数，对于怎么解这个L1范式的MP和OMP和其他的求解方法，本博客有篇提到了OM和MAP方法，链接为：MP+OMP，L1范式实现各种代码在加州大学伯克利分校维护的一个网站上：http://www.eecs.berkeley.edu/~yang/software/
机器学习中的范数规则化之L21范数
qq_40432881的博客
12-12 1万+
先看上面l21范数的定义，注意原始矩阵是n行t列的，根号下平方是对列求和，也就是说是在同一行中进行操作的，根号部分就相当于一个l2范数，由此可以看出l21范数实则为矩阵X每一行的l2范数之和。 在矩阵稀疏表示模型中，把它作为正则化项有什么作用呢？前面说到它是每一行的l2范数之和，在最小化问题中，只有每一行的l2范数都最小总问题才最小。而每一个行范数取得最小的含义是，当行内尽可能多的元素为0时，约...
L1范数和L2范数
qq_44015059的博客
10-06 4389
转载自https://blog.csdn.net/rocling/article/details/90290576 https://zhuanlan.zhihu.com/p/28023308 把答案放在前面 L0范数是指向量中非0的元素的个数。(L0范数很难优化求解) L1范数是指向量中各个元素绝对值之和 L2范数是指向量各元素的平方和然后求平方根 L1范数可以进行特征选择，即让特征的系数变为0. L2范数可以防止过拟合，提升模型的泛化能力，有助于处理 condition number不好下的矩阵(数据变化
心电信号处理实验（一）：心电图信号分析
08-04
资源下载链接为： https://pan.quark.cn/s/f989b9092fc5 在心电信号处理领域，实验（一）“心电2”主要聚焦于心电图（ECG）信号的分析与处理。心电图是记录心脏电生理活动的重要工具，被广泛用于临床诊断和健康监测。本实验的核心内容分为两部分：一是模拟数据的使用，二是RST波的检测。 实验中使用的ECG.mat文件包含了心电图信号的模拟数据。在实际研究和教学中，模拟数据常被用来代替真实采集的数据，因为它们能够精确控制、重复生成，且便于开展各种假设性实验。这些模拟数据可能包含正常的心电信号波形，如P波、QRS复合波和T波，也可能包含异常情况，如心律不齐、早搏等。通过对这些模拟信号的分析和处理，可以深入理解心电图的基本特征，并学习如何提取有用信息，例如心跳周期、心率等。 peakdetect.m是Hooman Sedghamiz在2014年编写的RST波检测程序。RST波，尤其是QRS复合波，是心电图分析的关键部分，因为它标志着心脏心动周期中的一个关键阶段——心室激动。该程序采用基于状态机逻辑的算法，这种算法通常涉及一系列预定义的状态，每个状态对应于心电信号的不同特征或变化。通过这种方式，程序能够有效识别和定位QRS波群，从而计算出心率和其他相关参数。状态机方法在信号处理中具有良好的鲁棒性和适应性，能够处理不同质量和复杂性的ECG信号。在心电信号检测中，峰检测是一个核心步骤，它涉及寻找信号中的局部最大值。peakdetect.m可能包含了对信号平滑、阈值设定、波形匹配等预处理步骤，以减少噪声影响并准确捕捉到QRS波的起点和终点。这一过程对于识别异常心律、诊断心律失常至关重要。 在实验过程中，学生和研究人员可以利用ECG.mat数据和peakdetect.m程序进行以下实践操作：1. 加载并可视化心电图信号，了解其基本形态和特征；2. 运行peakdet
pet_shipping_info.html
最新发布
08-04
北京至广州100元以内宠物托运
CS231N深度学习课程笔记精粹
CS231N是一门由斯坦福大学推出的关于计算机视觉的课程，它通过深入讲解卷积神经网络（ConvNets）和深度学习技术来教授学生如何让机器理解和处理图像。该课程的笔记及视频资料对于那些希望在计算机视觉和深度学习领域...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值