- 博客(7)
- 收藏
- 关注
RSS订阅原创 模型剪枝整理与总结
快速部署：优先权重幅度或BN缩放因子剪枝，配合简单微调。高精度保留：采用重建误差评估+渐进式剪枝，结合知识蒸馏。硬件加速优先：结构化剪枝为主，避免不规则稀疏模式。
2025-06-20 14:26:13
929
原创 权重量化整理与总结
快速部署场景：优先训练后8位逐层量化，配合MinMax量化策略。高精度需求场景：采用量化感知训练+逐通道量化，或混合精度量化。极致压缩场景：尝试二值化/三值化，但需配合网络架构优化（如残差连接、特征复用）。
2025-06-20 13:14:54
685
原创 知识整理整理与总结
方法选择建议快速轻量化：优先输出层软标签蒸馏，配合温度自适应策略。高精度保留：采用中间层特征蒸馏+注意力引导，适合异构模型迁移。数据稀缺场景：自蒸馏+伪标签生成，减少对标注数据的依赖。当前技术趋势自动化知识蒸馏（Auto-KD）：通过神经架构搜索（NAS）自动设计蒸馏策略（如最优蒸馏损失组合、学生模型架构）。多教师协同蒸馏：集成多个不同教师模型的知识（如跨任务教师、跨模态教师），提升学生模型的泛化能力。
2025-06-20 13:03:26
280
原创 高效结构设计整理与总结
通过优化神经网络的拓扑结构、计算单元和连接方式，在减少参数量、计算复杂度的同时保持或提升模型性能。高效结构设计的核心是平衡模型表达能力与计算效率，关键挑战在于如何在资源受限条件下（如移动端、边缘设备）设计兼具轻量化和高精度的网络架构。
2025-06-20 12:59:18
374
原创 低秩分解整理与总结
方法选择建议快速部署场景：优先选择训练后分解方法，如矩阵 SVD 训练后分解，实现简单且能快速压缩模型。高精度需求场景：采用分解感知训练方法，如张量 Tucker 分解感知训练，以减少精度损失。对计算复杂度敏感的场景：选择计算复杂度较低的分解方法，如矩阵 SVD 分解，同时结合硬件加速。当前技术趋势自适应低秩分解：根据模型的不同层和不同任务的特点，自适应地选择合适的秩和分解方法，以实现更好的精度和效率平衡。
2025-06-20 12:55:30
391
原创 2021-11-14
解决git clone报错fatal: unable to access ‘https://github将命令里面的https改为git
2021-11-14 21:42:14
306
原创 2021-11-13
Pytorch学习（1）—— 构建网络模型的四种操作利用pytorch来构建网络模型有很多种方法，以下简单列出其中四种。假设构建一个网络模型如下： 卷积层–Relu层–池化层–全连接层–Relu层–全连接层首先导入几种方法用到的包：import torchimport torch.nn.functional as Ffrom collections import OrderedDict需要注意的是，无论哪种方法，每一层层中的参数都是可以从外部传进去的，在初始化阶段传入参数；super里的第一
2021-11-13 23:53:38
66
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人