目录
一、MobileNet
1.MobileNet V1
传统卷积神经网络,内存需求大,运算量大,导致无法在移动设备以及嵌入式设备上运行。
MobileNet网络专注于移动端或嵌入式设备中的轻量级CNN网络,相比于传统卷积神经网络,在准确率小幅降低的前提下大大减少模型参数与运算量,相比于VGG16准确率减少0.9%,但是模型参数只有VGG的1/32。
MobileNet网络中的亮点:
- Depthwise Convolution(大大减少运算量和参数数量)
- 增加超参数
、
(
控制卷积核个数,
控制输入图片的大小,这两个参数是人为设定的)
传统卷积与DW卷积的区别:
通常DW卷积与PW卷积放在一起使用:
理论上普通卷积计算量是DW+PW的8到9倍。
2.MobileNet V2
MobileNet V2相比于MobileNet V1准确率更高,模型更小。
网络中的亮点:
- Inverted Residuals(倒残差结构)
- Linear Bottlenecks
MobileNet V2使用的是ReLU6激活函数:
MobileNet V2中倒残差结构如下:
当stride=1且输入特征矩阵与输出特征矩阵shape相同时才有shortcut连接。
3.MobileNet V3
网络亮点:
- 更新Block(bneck)
- 使用NAS搜索参数(Neural Architecture Search)
- 重新设计耗时层结构
MobileNet V3相比于MobileNet V2更准确,更高效。
更新Block包括:加入SE模块和更新了激活函数。
重新设计耗时层结构:
1.减少第一个卷积层的卷积核个数(32->16)
2.精简Last Stage
重新设计激活函数:
将替换为
。
其中,
二、HybridSN高光谱图像分类
首先取得数据,并引入基本函数库:
! wget http://www.ehu.eus/ccwintco/uploads/6/67/Indi