使用预训练PoseNet模型在安卓应用中进行人体关键点检测

本文链接：https://blog.csdn.net/2501_90323865/article/details/148484715

在当今的计算机视觉领域，姿态估计是一项关键任务，它旨在检测物体的姿态，也就是物体的方向和位置。其实现原理是通过检测一系列关键点，借此了解物体的主要部分，并估计其当前的方向。基于这些关键点，我们能够以2D或3D形式构建物体的形状。在本篇教程中，我们将利用预训练的PoseNet模型，在安卓应用里检测人体的关键点。

一、基础安卓项目

为节省时间，我们以TensorFlow Lite PoseNet安卓演示项目为起点。该项目运用预训练的PoseNet模型，此模型是MobileNet的转移版本，可从特定链接下载。它接收尺寸为(257, 257)的图像，并返回17个人体关键点的位置，像鼻子、眼睛、肩膀等部位的位置。每个关键点都有一个相关的置信度值，范围从0.0到1.0。模型会返回两个列表，一个代表关键点位置，另一个包含每个关键点的置信度。通常设置0.5及以上的置信度阈值来判断关键点是否被接受。该项目用Kotlin编程语言实现，原本可访问安卓相机来捕获图像，对每张捕获的图像，模型预测关键点位置并显示叠加了这些关键点的图像。而在本教程中，我们会简化项目，让其处理从图库中选择的单张图像，并在眼睛部位添加类似Snapchat的遮罩效果。

二、移除不必要代码

原项目配置为处理相机捕获的图像，这并非我们当前目标，所以要移除与访问或捕获图像相关的代码。需编辑三个文件：PosenetActivity.kt活动文件、activity_posenet.xml布局资源文件以及AndroidManifest.xml文件。在PosenetActivity.kt文件中，要删除诸如CameraDevice.StateCallback()、CameraCaptureSession.