【2020年BNN网络的SOTA—— ReActNet 】以简单的操作得到更高精度的二值神经网络

作者‖ Cocoon
编辑‖ 3D视觉开发者社区

导语：

本文是由香港科技大学发布于ECCV 2020的论文，是Bi-Real Net作者对二值化研究领域的最新成果，拥有着69.4%的精度，作者通过简单的优化激活函数的操作改进便取得了惊人的效果，本文将详细解读ReActNet的具体方法。

论文链接： https://arxiv.org/pdf/2003.03488.pdf

代码地址： https://github.com/liuzechun/ReActNet

概述

通常认为的二值神经网络，指模型权重以及激活值均为二进制数值的模型，被认为是最有前途的神经网络压缩方法之一。但显然，二值的表达与浮点数的表达存在着差距，而本篇所介绍的$ReActNet$，其目的就是希望在不引入额外计算开销的前提下，能够缩小这之间的差距。

论文首先构建了一个$Baseline$网络，具体的构建方式为使用不引入参数的$shortcut$修改某一浮点数网络，并将其二值化。该$Baseline$网络在精度和效率上有较好的$trade$-$off$，比大多数已有的二值网络效果都要好。

通过大量的实验，文章发现，二值网络的性能对激活函数的分布非常敏感。基于该发现，文章提出将传统的$Sign$以及$PReLU$函数进行“推广”，并将“推广”后的函数分别命名为$RSign$以及$RPReLU$，这样做的目的是希望在不引入额外计算开销的前提下，显式地学习分布的“$reshape$”和“$shift$”。

最后，文章提出了所谓的“$DistributionalLoss$”来进一步地对二值网络进行强化，目的是使其与浮点数网络学到近似的输出分布。

合并了上述想法后所攒出来的网络即命名为$ReActNet$，其性能远超出当时已有的二值网络。

方法

一比特卷积

对于权重已经一比特化的卷积层来说，其乘法运算可以被按位运算$XNOR$以及$popcoun$t操作替换，具体为：
$${\mathcal{X}}_b\ast {\mathcal{W}}_b=\mathrm{popcount}\left(\mathrm{XNOR}\left({\mathcal{X}}_b,{\mathcal{W}}_b\right)\right)$$

其中${\mathcal{W}}_b$以及${\mathcal{X}}_b$分别表示二值权重矩阵以及二值激活。具体地，权重和激活通过以下的方式进行二值化：
$$x_b=\mathrm{Sign}\left(x_r\right)=\{\begin{array}{l}+1,\text{ if }{x}_r>0\\ -1,\text{ if }{x}_r\le 0\end{array},w_b=\frac{{\Vert {\mathcal{W}}_r\Vert }_{l1}}{n}\mathrm{Sign}\left(w_r\right)=\{\begin{array}{l}+\frac{{\Vert {\mathcal{W}}_r\Vert }_{l1}}{\Vert },\text{ if }{w}_r>0\\ -\frac{{\Vert {\mathcal{W}}_r^n\Vert }_{l1}}{n},\text{ if }{w}_r\le 0\end{array}$$
其中，下标$b$和下标$r$分别指代二值和浮点数。$\frac{{\Vert {\mathcal{W}}_r\Vert }_{l1}}{n}$表示权重绝对值的平均值，其作用为作为尺度因子减少浮点数与二值之间的差距，在$XNOR-Net$（Rastegari 等，2016）中，也应用了类似的尺度因子。然而，随着后续所谓的$ReAct$操作的引入，这个尺度因子将变得不再重要。

Baseline网络

许多二值化工作选择的浮点数网络是<