【PVR】《Research on Palm Vein Feature Extraction and Recognition Algorithm Based on Deep Learning》

[1]王鹏.基于深度学习的掌静脉特征提取与识别算法研究[D].重庆工商大学,2020.DOI:10.27713/d.cnki.gcqgs.2020.000003.

1、背景和动机

背景

• 个人身份识别技术的重要性
• 生物特征识别技术的兴起
• 掌静脉识别技术的挑战

静脉识别技术已经开始应用于生产生活领域，具有代表性的公司有智脉科技、通元微科技以及北京神州安盾等公司

手指静脉识别技术和手掌静脉识别技术则是起源于日本，其代表公司分别为日立公司和富士通公司，分别于 2003 年和 2004 年推出了手指静脉识别系统和手掌静脉识别系统。

动机

• 提高掌静脉特征提取的准确性
• 解决小样本数据下的识别问题
• 推动掌静脉识别技术的应用
• 探索深度学习在生物特征识别领域的应用潜力

2、相关工作

四种传统的掌静脉特征提取与识别方法：

基于几何特征的方法：

• 原理：通过提取掌静脉的关键点、线特征进行识别。
• 优缺点：易于理解，但易丢失部分特征信息，且对图像预处理要求较高，识别速度较慢。

基于纹理分析的方法：

• 原理：使用某种变换将掌静脉图像转换到另一域，提取纹理特征进行识别。
• 优缺点：识别速度较快，但鲁棒性较差，易受位置偏移或旋转影响。

基于空间变换的方法：

• 原理：将掌静脉图像当作高维向量或矩阵，通过投影或变换转化为低维向量或矩阵进行识别。
• 优缺点：对图像质量要求较低，但识别率不高，鲁棒性较差。

基于深度学习的方法：

• 原理：利用卷积神经网络（CNN）等深度学习模型自动学习和提取掌静脉特征进行识别。
• 优缺点：能够实现端到端的学习，表征能力强，但对数据量要求较高，不易收敛，识别率不稳定。

3、创新点

• 提出基于 U 型生成对抗网络的手掌静脉特征提取算法（特征提取）
  该算法融合了U-Net网络和生成对抗网络的优点，通过生成网络和判别网络的交替训练，自动学习到掌静脉的内部分布特征，从而实现掌静脉图像的有效分割和特征提取。

• 提出基于多尺度生成对抗网络的单张训练样本识别方法（数据扩充）
  针对训练集中每个用户只有单张掌静脉图像的问题，本文提出了一种基于多尺度生成对抗网络（SinGAN）的单张训练样本识别方法。该方法通过学习单张掌静脉图像的内部统计信息，生成大量独立同分布的掌静脉图像，从而扩充训练集，提高识别模型的泛化能力。

• 实验验证与性能提升
  本文通过大量实验验证了所提算法的有效性和优越性。在公开的掌静脉数据库上进行测试，结果表明，所提算法在识别精度、鲁棒性等方面均优于传统方法。

4、基于 U 型生成对抗网络的手掌静脉提取算法研究

GAN 的背景知识

生成对抗网络的学习是通过生成网络和判别网络交替训练进行的，其最终使
得判别网络无法判断生成样本的真假。

在生成对抗网络（GAN）中，最优的生成器和判别器需要达到一种动态平衡状态，即纳什均衡。在这种状态下，生成器生成的样本分布与真实数据分布完全一致，而判别器无法区分生成样本和真实样本，其预测概率始终为 1/2

最优的生成网络 $G^{\ast }$ 是服从分布 $P_Z=P_{data}$

JS 散度

作者提出的方法

手部区域的分割

关键点提取

该方法不断地使用一条垂直检测线（图 3.3 中红线，右移动）的方法来检测关键点

原理，如果在图像 $f_{k-1}$（红线） 中相互独立的区域（被红线切割后的区域， R 表示）在 $f_k$ 中被合并，那么直线 $L_{k-1}$ 上有一个或多个关键点。

比如 （c） 五个区域，（d）四个区域，说明 $L_k$ 有关键点

最终找到四个关键点

手掌感兴趣区域的提取

先计算 $p_1$ $p_3$ 连线与竖直方向的夹角 $\theta$，然后旋转后四个关键点更新为 $p_i^{\prime }$

做垂线找到手掌中最短的线段， $p_{start}$-$p_{end}$

然后计算 $p_1^{\prime }$ 和 $p_3^{\prime }$ 外扩的距离确定 ROI 边界点 $p_{m_1}^{\prime }$ 和 $p_{m_3}^{\prime }$

ROI 的边长 d 就是 $p_{m_1}^{\prime }$ 到 $p_{m_3}^{\prime }$ 的距离

图像的标注

白色静脉，黑色背景


4 邻域投票，少数服从多数

U 型生成对抗网络

G 的输出为一张值为 0 到 1 的概率图，表示每个像素属于静脉的概率，128 x 128

在判别网络中，输入的是灰度图像与二值图像构成的图像对，输出则是一个概率值，表示属于真实图像对的概率。

生成网络的 U 型结构如下

判别网络中是一个卷积神经网络，一共有四个卷积层和一个全连接层

最后，将测试手掌图像输入到生成网络中，得到一个概率图，使用 0.5 的阈值将概率图转换为二值图，即为最终分割的手掌静脉图像。

用 GAN 来做特征提取

数据集

作者的方法比 U-Net 强的原因

实验结果验证了 U 型生成对抗网络能够有效地提取到掌静脉特征

5、基于单张训练样本的掌静脉识别算法研究

多尺度生成对抗网络(SinGAN)

SinGAN的核心思想是通过多尺度结构，利用对抗训练从单张自然图像中学习其内在的统计分布，进而生成与原图像在视觉内容上一致但具有多样性的新样本。与传统的GAN不同，SinGAN不需要大量的训练数据集，而是仅依赖于单张图像进行训练。

其优势在于：

• 单图像训练：无需大量数据集，仅从单张图像中学习生成模型，极大地降低了数据需求。
• 多尺度生成：通过多尺度生成器和判别器，能够捕捉图像的细节和全局结构，生成高质量的随机样本。
• 广泛的应用场景：不仅限于图像生成，还能应用于图像编辑、融合、超分辨率等多种任务。

SinGAN 网络通过多尺度的学习可以从单张图像中学习到手掌静脉的内部统计特征，包括形状、排列位置等静脉细节，然后生成具有相同的整体结构但却并不完全一样的手掌静脉图像。

生成网络训练好后，固定生成网络，输入与单张手掌静脉图片同样大小的随机噪音，即可生成手掌静脉图像。

基于单张图像的掌静脉识别方法

使用上一章节的数据预处理方法提取掌静脉图像中感兴趣区域，最后再使用上一章节的静脉提取方法，构成二值静脉数据库。因此，在本实验中构建了灰度和二值共计四个掌静脉数据库。

综合考虑识别率和计算时间的复杂度，将迭代次数设置为 100。

数量 1 的含义，训练集合中每个类别只有一幅灰度图像（应该指的是每个 id 只有一张图）

100-500 是利用 GAN 生成出来的，确实是有提升的

稳定性分析实验

基于单张灰度手掌图像的识别算法稳定性很差

原始单张二值图像可以学习到掌静脉的特征，但是由于数据集中训练数量不足，导致识别率不高

随着每个样本生成数量的增多，损失值曲线和识别率曲线也趋向于平稳

随着每个样本生成数据量的不断增加，识别网络学习到的掌静脉特征越稳健，也验证了 SinGAN 网络生成的掌静脉图像的有效性。

二值掌静脉图像已经消除了噪音等因素的影响，卷积神经网络较易提取到静脉特征

不同方法的实验

在数据增强方法中，通过旋转、偏移的方法使每个样本生成了 10 个数据

在迁移学习中，加载了 VGG16 网络预训练的权重，然后使用原始单张手掌静脉图像进行微调

6、总结和未来工作

总结

• 用 GAN 的生成网络来生成分割的概率图，相当于特征提取
• 用 SinGAN 来大规模生成每个 ID 的掌纹数

未来工作

• 提高图像生成质量
• 优化深度学习模型
• 增强模型鲁棒性
• 推动实际应用
• 扩展数据集规模