yolov5实战手势识别

### 使用 YOLOv5 进行手势识别的实战教程 #### 创建项目环境 为了确保项目的顺利运行，建议先设置虚拟环境并安装必要的依赖库。 ```bash conda create -n yolov5_gesture python=3.8 conda activate yolov5_gesture pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 pip install opencv-python PyQt5 git clone https://github.com/ultralytics/yolov5.git cd yolov5 pip install -r requirements.txt ``` #### 数据准备 根据实际需求收集或下载适当的手势数据集。如果选择自制数据集，则需按照特定格式整理图片和标签文件[^4]。 - **训练集与验证集划分** 将采集到的手势图像分为`train`和`val`两个子目录存放。 - **标注文件生成** 对应每张图片创建`.txt`格式的边界框坐标文件，位于相应级别的`labels`文件夹下。 - **配置 `data.yaml` 文件** 定义数据集路径以及类别信息： ```yaml # data/gestures.yaml train: ./images/train/ val: ./images/val/ nc: 5 names: ['thumbs_up', 'thumbs_down', 'peace', 'fist', 'point'] ``` #### 模型训练 利用预定义的数据集来微调YOLOv5模型参数，从而适应新的分类任务。 ```bash python train.py --img 640 --batch 16 --epochs 50 --data gestures.yaml --weights yolov5s.pt ``` 此命令将在本地启动一次完整的训练过程，并自动保存最佳权重至`runs/train/exp/weights/best.pt`. #### 构建图形界面 (GUI) 借助PyQt5框架构建简易的应用程序窗口展示实时检测效果。 ##### 主要组件说明 - **DetectionThread**: 继承自`QThread`,负责从摄像头获取视频流并对每一帧执行目标检测操作[^1]. - **MainWindow**: 基于`QMainWindow`实现,提供用户交互界面，包括播放区域和其他控制按钮. ##### 关键代码片段 下面给出部分核心逻辑作为参考: ```python from PyQt5.QtWidgets import QApplication, QMainWindow, QLabel import sys from threading import Thread import cv2 import numpy as np import torch class DetectionThread(QThread): change_pixmap_signal = pyqtSignal(np.ndarray) def __init__(self): super().__init__() self.model = torch.hub.load('ultralytics/yolov5', 'custom', path='path/to/best.pt') # 加载已训练好的模型 def run(self): cap = cv2.VideoCapture(0) while True: ret, frame = cap.read() if not ret: break results = model(frame).render() # 调用YOLOv5进行预测 image_with_boxes = results[0][:, :, ::-1] self.change_pixmap_signal.emit(image_with_boxes) class MainWindow(QMainWindow): def __init__(self): super(MainWindow).__init__() self.setWindowTitle("Hand Gesture Recognition") self.image_label = QLabel(self) self.setCentralWidget(self.image_label) th = DetectionThread() th.change_pixmap_signal.connect(lambda p: self.update_image(p)) th.start() @pyqtSlot(np.ndarray) def update_image(self, cv_img): """Updates the image_label with a new opencv image""" qt_img = QImage(cv_img.data, cv_img.shape[1], cv_img.shape[0], QImage.Format_RGB888) pixmap = QPixmap.fromImage(qt_img) self.image_label.setPixmap(pixmap) if __name__ == "__main__": app = QApplication(sys.argv) window = MainWindow() window.showFullScreen() sys.exit(app.exec_()) ```