<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[hey-yahei]]></title><description><![CDATA[转载个人文章https://hey-yahei.cn]]></description><link>https://blog.csdn.net/qq_20759449</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; qq_20759449]]></copyright><item><title><![CDATA[重训练量化·可微量化参数]]></title><link>https://blog.csdn.net/qq_20759449/article/details/108750853</link><guid>https://blog.csdn.net/qq_20759449/article/details/108750853</guid><author>qq_20759449</author><pubDate>Wed, 23 Sep 2020 13:24:11 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-retrain_differentiable
欢迎引用&amp;转载，但烦请注明出处~
在传统的QAT中，训练的只有权重，而量化参数是根据权重的分布所确定的。有研究者就想，为什么不把量化参数也作为训练对象呢？既然量化参数是可训练的，那么它能被求导，也就是可微的，所以我们可以称这类方法为“可微量化参数”。
PACT
论文：《PACT: Parameterized Clipping Activatio]]></description><category></category></item><item><title><![CDATA[重训练量化（改进QAT）]]></title><link>https://blog.csdn.net/qq_20759449/article/details/108717591</link><guid>https://blog.csdn.net/qq_20759449/article/details/108717591</guid><author>qq_20759449</author><pubDate>Mon, 21 Sep 2020 19:55:01 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-retrain_improved_qat
欢迎引用&amp;转载，但烦请注明出处~
Quantize Aware Training(QAT)通过在训练过程中融入量化和反量化过程，来实现量化模型的精度恢复，但考虑一下量化过程
![image.png](https://img-blog.csdnimg.cn/img_convert/a86094a7396694cbba5791bd488c0b63.pn]]></description><category></category></item><item><title><![CDATA[Data-free量化]]></title><link>https://blog.csdn.net/qq_20759449/article/details/108663282</link><guid>https://blog.csdn.net/qq_20759449/article/details/108663282</guid><author>qq_20759449</author><pubDate>Fri, 18 Sep 2020 13:05:47 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-data_free
欢迎转载&amp;引用，但烦请注明出处~
Data-free指的是不需要数据，它可以是完全不依赖数据也不利用生成数据，也可以是利用某些手段来生成数据。在量化上，Data-free既可以用于后训练量化，也可以用于重训练量化。Data-free量化的研究主要是希望在真实数据未知的情况下，对输入进行离线量化操作，通常都是借助BN层的统计信息（均值、方差）来直接确定输入的量化参数，或者]]></description><category></category></item><item><title><![CDATA[后训练量化]]></title><link>https://blog.csdn.net/qq_20759449/article/details/108601462</link><guid>https://blog.csdn.net/qq_20759449/article/details/108601462</guid><author>qq_20759449</author><pubDate>Tue, 15 Sep 2020 15:58:04 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-post_training
欢迎转载&amp;引用，但烦请注明出处~
按照是否需要训练划分，量化通常可以分为从头训练（train from scratch）、重训练（retrain）、后训练（post-training）三种，本文主要介绍几种后训练量化的方案，并以线性均匀分布的定点量化为例。
**后训练量化指的是，对预训练后的网络选择合适的量化操作和校准操作，以实现量化损失的最小化，该过程不需要训]]></description><category></category></item><item><title><![CDATA[【强化学习】Actor-Critic]]></title><link>https://blog.csdn.net/qq_20759449/article/details/106243364</link><guid>https://blog.csdn.net/qq_20759449/article/details/106243364</guid><author>qq_20759449</author><pubDate>Wed, 20 May 2020 20:10:26 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/rl-actor_critic
参考：机器学习深度学习（李宏毅） - Actor-Critic
Actor with Critic
以policy-based的actor为主体，融入value-based的critic；
一般Policy Gradient的改进技巧在这里依旧同样适用
AC: Actor-Critic
回顾Policy Gradient，梯度的计算公式如下，
∇Rˉθ≈1N∑n=1N∑t=1Tn(∑t′=t]]></description><category></category></item><item><title><![CDATA[【强化学习】Q Learning]]></title><link>https://blog.csdn.net/qq_20759449/article/details/106243346</link><guid>https://blog.csdn.net/qq_20759449/article/details/106243346</guid><author>qq_20759449</author><pubDate>Wed, 20 May 2020 20:09:18 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/rl-q_learning
参考：

机器学习深度学习（李宏毅） - Q Learning
机器学习深度学习（李宏毅） - Q Learning Advanced Tips
机器学习深度学习（李宏毅） - Q Learning Continuous Action

基本形式
Q Learning是一种value-based的RL算法，value-based算法旨在训练一个Critic（记为VπV^\piVπ），它与某个Ac]]></description><category></category></item><item><title><![CDATA[【强化学习】Policy Gradient]]></title><link>https://blog.csdn.net/qq_20759449/article/details/106243319</link><guid>https://blog.csdn.net/qq_20759449/article/details/106243319</guid><author>qq_20759449</author><pubDate>Wed, 20 May 2020 20:08:31 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/rl-policy_gradient
参考：

机器学习深度学习（李宏毅）- Deep Reinforcemen Learning3_1
机器学习深度学习（李宏毅）- Policy Gradient
机器学习深度学习（李宏毅）- Proximal Policy Optimization

策略梯度
策略梯度（Policy Gradient）是一种policy-based的RL算法。
基本形式
![image.png](ht]]></description><category></category></item><item><title><![CDATA[【强化学习】Introduction]]></title><link>https://blog.csdn.net/qq_20759449/article/details/106243287</link><guid>https://blog.csdn.net/qq_20759449/article/details/106243287</guid><author>qq_20759449</author><pubDate>Wed, 20 May 2020 20:06:20 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/rl-introduction
参考：

强化学习纲要（周博磊） 第一课 概括与RL基础 上、下
机器学习深度学习（李宏毅）- Deep Reinforcemen Learning3_1

核心思想
![image.png](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAyMC9wbmcvNTA0MzI4LzE1ODk3Nj]]></description><category></category></item><item><title><![CDATA[知识蒸馏]]></title><link>https://blog.csdn.net/qq_20759449/article/details/105946216</link><guid>https://blog.csdn.net/qq_20759449/article/details/105946216</guid><author>qq_20759449</author><pubDate>Wed, 06 May 2020 10:57:17 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/knowledge_distillation
知识蒸馏（Knowledge Distillation, KD），按照字面意思，就是将某个经过训练网络的知识，蒸馏到另一个网络上去。换句话说，存在一个已经训练好的，具备知识的成熟教师网络（Teacher），用它来指导学生网络（Student）的学习过程。对学生网络而言...]]></description><category></category></item><item><title><![CDATA[细数目标检测中的损失函数]]></title><link>https://blog.csdn.net/qq_20759449/article/details/105701661</link><guid>https://blog.csdn.net/qq_20759449/article/details/105701661</guid><author>qq_20759449</author><pubDate>Thu, 23 Apr 2020 10:37:24 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/objects_detection#zoJwH
损失函数
目标检测中最经典的损失函数就是Faster RCNN所用的“softmax交叉熵分类损失 + SmoothL1回归损失”的形式，后来有很多改进的目标检测网络、方案也陆续提出了一些损失函数上的改进。
分类损失
参考：

《目标检测小tricks–样本不均衡处...]]></description><category></category></item><item><title><![CDATA[从SENet到ResNeSt]]></title><link>https://blog.csdn.net/qq_20759449/article/details/105701482</link><guid>https://blog.csdn.net/qq_20759449/article/details/105701482</guid><author>qq_20759449</author><pubDate>Thu, 23 Apr 2020 10:33:54 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/typical_cnn#NY1oJ
SENet
论文：《Squeeze-and-Excitation Networks (CVPR2018)》提出了SE模块，是注意力机制的一种应用，学习特征图上通道间的相关性，作为权重ReScale各个通道；SE模块相当于一个轻量级的插件，可以方便地插入到已有的网络中去。SE模块...]]></description><category></category></item><item><title><![CDATA[分类网络速览]]></title><link>https://blog.csdn.net/qq_20759449/article/details/105242655</link><guid>https://blog.csdn.net/qq_20759449/article/details/105242655</guid><author>qq_20759449</author><pubDate>Wed, 01 Apr 2020 11:57:53 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/typical_cnn
参考：

《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap13
《卷积神经网络——深度学习实践手册(2017.05)》

CNN的典型组合方式是，以 卷积层+激活函数（比如relu）+池化层 作为一...]]></description><category></category></item><item><title><![CDATA[正则化技术]]></title><link>https://blog.csdn.net/qq_20759449/article/details/105124008</link><guid>https://blog.csdn.net/qq_20759449/article/details/105124008</guid><author>qq_20759449</author><pubDate>Thu, 26 Mar 2020 17:42:24 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/regularization
正则化指的是为模型引入一些约束，一定程度上限制模型的拟合能力，减缓收敛速度，从而缓解过拟合现象的一系列方法。
参考：

《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap11
《卷积神经网络——...]]></description><category></category></item><item><title><![CDATA[优化器]]></title><link>https://blog.csdn.net/qq_20759449/article/details/105060861</link><guid>https://blog.csdn.net/qq_20759449/article/details/105060861</guid><author>qq_20759449</author><pubDate>Mon, 23 Mar 2020 23:16:20 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/optimizer
参考：

《Hands-On Machine Learning with Scikit-Learn and TensorFlow(2017)》Chap11
torch.optim

常见的加速训练技术：

恰当的的权重初始化策略：打破初始值的对称性，初始值也不能太小
恰当的激活函数：选用导数数...]]></description><category></category></item><item><title><![CDATA[梯度消失与梯度爆炸]]></title><link>https://blog.csdn.net/qq_20759449/article/details/105042658</link><guid>https://blog.csdn.net/qq_20759449/article/details/105042658</guid><author>qq_20759449</author><pubDate>Mon, 23 Mar 2020 10:19:54 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/gradient_vanish_explode
在深度学习任务中，随着层数的增加，因为反向传播的链式求导规则，梯度容易出现指数形式地减小或增长，从而导致梯度消失（非常小，训练缓慢）或梯度爆炸（非常大，训练不稳定）现象的发生。
相比CNN，RNN更容易出现梯度消失和梯度爆炸问题，这一点在《梯度消失与梯度爆炸 - 为...]]></description><category></category></item><item><title><![CDATA[损失函数]]></title><link>https://blog.csdn.net/qq_20759449/article/details/105042391</link><guid>https://blog.csdn.net/qq_20759449/article/details/105042391</guid><author>qq_20759449</author><pubDate>Mon, 23 Mar 2020 10:09:31 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/target_function
目标函数（target function）、损失函数（loss function）、代价函数（cost function）是一个东西~
目标函数是一个用来衡量模型预测结果与实际结果（通常称为Ground Truth）之间差距的一个函数，在深度学习中，训练模型通常就是指以最小化该差距...]]></description><category></category></item><item><title><![CDATA[移位量化（对数量化）]]></title><link>https://blog.csdn.net/qq_20759449/article/details/104733457</link><guid>https://blog.csdn.net/qq_20759449/article/details/104733457</guid><author>qq_20759449</author><pubDate>Sun, 08 Mar 2020 15:18:12 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/shift_quantization
移位量化也可以称为对数量化，将数值从浮点数的形式量化为一个整数或定点数，但它与线性量化不同，两个相邻数之间是在以2为底的对数域上均匀分布的，这使得实际推理当中可以直接通过移位运算来快速实现，同时也拥有随比特数增长而指数增长的大动态范围。移位量化既可以只量化权重（对激活值移位）...]]></description><category></category></item><item><title><![CDATA[二值量化]]></title><link>https://blog.csdn.net/qq_20759449/article/details/104437677</link><guid>https://blog.csdn.net/qq_20759449/article/details/104437677</guid><author>qq_20759449</author><pubDate>Sat, 22 Feb 2020 00:45:35 +0800</pubDate><description><![CDATA[原文链接：https://www.yuque.com/yahei/hey-yahei/binary_quantization
最近号称达到MobileNet水平的二值网络MeliusNet面世，趁这个机会顺便梳理一下二值量化的发展历程吧。
参考：

《MeliusNet: Can Binary Neural Networks Achieve MobileNet-level Accuracy? (2...]]></description><category></category></item><item><title><![CDATA[语义分割速览]]></title><link>https://blog.csdn.net/qq_20759449/article/details/104286355</link><guid>https://blog.csdn.net/qq_20759449/article/details/104286355</guid><author>qq_20759449</author><pubDate>Wed, 12 Feb 2020 20:44:27 +0800</pubDate><description><![CDATA[语义分割速览
原文链接：https://www.yuque.com/yahei/hey-yahei/segmentation

简单过一下语义分割的主流框架——FCN、UNet、SegNet、PSPNet、DeepLab
分割任务论文集与各方实现：https://github.com/mrgloom/awesome-semantic-segmentationpytorch model zoo：ht...]]></description><category></category></item><item><title><![CDATA[leetcode(c++)]]></title><link>https://blog.csdn.net/qq_20759449/article/details/104175564</link><guid>https://blog.csdn.net/qq_20759449/article/details/104175564</guid><author>qq_20759449</author><pubDate>Tue, 04 Feb 2020 21:53:49 +0800</pubDate><description><![CDATA[放假没事刷几道leetcode，一些常见典型题的答案和解析。
平时python用的比较多，但分析复杂度的时候用python编程不方便，所以刷题的时候用了c++
C++基础

《C++编程思想》笔记
vector, list, dequeue
stack, queue
string
pair, set, map
algorithm

数组&amp;链表
https://www.yuque.com/y...]]></description><category></category></item></channel></rss>