- 博客(32)
- 收藏
- 关注
RSS订阅原创 Deep learning--模型压缩的五种方法
这篇摘要介绍了四种主流的模型压缩技术：1. 网络剪枝通过评估和去除对输出影响小的参数来减小模型规模，再通过再训练恢复性能；2. 知识蒸馏让小型学生模型模仿大型教师模型的输出分布，实现知识迁移；3. 模型量化通过降低数值精度来减小模型大小并提高速度；4. 结构设计采用深度可分离卷积等高效架构来减少参数量。此外还提到动态计算可根据输入难度动态调整模型复杂度。这些技术能在保持模型性能的同时，显著减小模型规模和提高计算效率。
2025-07-23 23:11:29
672
原创 Self-Attention（自注意力机制）&&muti Self-Attention
本文探讨了语言模型中词性标注的上下文理解问题。针对传统神经网络无法区分同形异义词（如"saw"作为名词和动词）的局限性，作者提出引入自注意力机制（self-attention）的解决方案。通过建立词与词之间的相关性权重，模型能够动态关注输入序列中最相关的部分，有效捕获长距离依赖关系。文章详细阐述了注意力机制的工作原理，包括Query、Key、Value矩阵的计算过程，并介绍了多头注意力机制的扩展应用。此外，还讨论了位置编码在增强模型位置感知能力方面的作用。
2025-07-18 16:09:07
769
原创 deep learning(李宏毅)--（六）--loss
本文讨论了分类模型中的关键问题：1）softmax/sigmoid函数的选择依据；2）交叉熵损失函数的优势在于优化效率高；3）比较了Adam和SGDM优化算法的特点，提出SWATS结合策略；4）提及Radam算法及warmup技巧。
2025-07-18 00:00:00
576
原创 李宏毅（Deep Learning）--（三）
摘要：文章探讨了深度学习模型训练中的关键问题与解决方案。首先分析了训练损失较大的两种原因：模型过于简单或优化效果不佳，建议通过增加模型复杂度来判别。其次讨论了测试损失较大的情况，指出可能是过拟合导致，并提出增加训练数据、数据增强或正则化等解决方法。全文通过清晰的流程图和实例说明，为模型调优提供了系统的思考框架。
2025-07-12 21:47:46
483
原创 李宏毅（深度学习）--（2）
本文总结了PyTorch中的关键概念和操作：1）Dataset与DataLoader的区别，前者定义数据访问方式，后者提供批量处理功能；2）矩阵操作如转置(transpose)、降维(squeeze)和拼接；3）梯度计算要点，需标量才能反向传播；4）训练/评估模式切换(model.train/eval)；5）模型保存与加载方法；6）继承中super()的作用；7）输出层使用softmax激活函数的原因（多分类概率输出）。文章还涉及矩阵运算到神经网络的映射关系，为深度学习实践提供了基础技术要点。
2025-07-10 22:47:48
613
原创 Lingo软件学习（一）好学爱学
本文介绍了使用LINGO软件求解线性规划问题的基本方法。首先说明了LINGO代码编写要点：省略目标函数Z、使用"*"表示乘法、自动处理变量非负、语句末尾加分号等。其次介绍了整数规划求解命令@gin()的使用。最后详细讲解了利用集合处理大型线性规划问题的步骤：定义变量集合范围、输入已知数据、构建目标函数和约束条件，重点解析了@sum和@for语句的嵌套使用技巧。文章通过具体实例演示了LINGO求解线性规划问题的完整流程。
2025-07-09 21:26:29
358
原创 二刷（李宏毅深度学习，醍醐灌顶，长刷长爽）
摘要：深度学习通过构建复杂函数模型解决回归、分类等任务。其核心是通过初始函数设定（如y=wx+b）、损失函数评估误差、梯度下降优化参数来拟合目标函数。非线性问题需引入激活函数（如ReLU、Sigmoid）叠加逼近真实关系。网络结构包含横向神经元处理多变量输入和纵向深层网络提高拟合能力，采用小批量梯度下降加速训练。最终通过参数优化实现函数逼近，但需防止过拟合。
2025-07-08 20:49:06
1338
原创 Pandas 学习（数学建模篇）
摘要：本文解析了2023年数学建模竞赛C题优秀论文中的关键Python代码技巧，重点介绍了pandas数据处理方法。主要内容包括：1) DataFrame的创建与基本操作；2) 通过set_index和to_dict实现数据转换；3) Series数据结构及其与DataFrame的关系；4) groupby分组操作的原理与应用；5) 字典的创建与操作方法。这些技术要点为数学建模中的数据处理提供了实用解决方案，展示了如何将原始数据转换为结构化形式进行分析。文章通过具体代码示例，帮助读者理解数据转换的核心逻辑。
2025-07-07 18:16:05
968
原创 tensor加速遇到的问题：[Convolution]:kernel weights has count 3840 but 32640 was expected，yolov5s生成engine模型失败
卡bug之王再此！
2025-04-30 00:00:10
472
1
原创 Pytorch学习
模块中的一个类，用于将多个图像变换（transformations）组合在一起，以便在数据预处理或增强时按顺序应用这些变换。运行代码后，在终端用tensorboard --logdir=logs#logs为文件名，打开tensorboard打开网页进行查看。当这里显示我们没有映入相对应的库时，我们可以对红色波浪线部分进行alt+enter操作，或者点击红色感叹号。当我们不清楚括号里面要填写什么时，ctrl+p,能冒出嘻嘻。Dataloader:为后面的网络提供不同的数据形式。关注输入和输出的类型。
2025-03-07 16:27:04
345
原创 光电赛学习到的小指令
如果遇到安装了conda无法进行conda命令，那就是没有配置环境变量。方法：卸载是rm -rf /home/thrive/anaconda3。树莓派需要的库python==3.7.16。
2025-03-02 21:26:40
254
原创 固定usb摄像头/dev/video*设备号的方法（固定串口设备号）--树莓派
通常，USB设备插入时，系统会根据检测顺序分配设备号，比如video0、video1等。如果用户有多个摄像头，或者有时插拔顺序不同，设备号就会变化。而在一些需要自动化场景下我们绝对不可能手动查看序列号再修改代码，这时候需要一种方法来固定设备号，不管摄像头插在哪个USB口或者什么时候插入，设备号都保持一致。
2025-03-01 09:12:34
1289
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人