yolov5获取屏幕截图坐标

以下是使用 YOLOv5 实时检测屏幕并输出检测框的左上角和右下角坐标的 Python 代码示例： ```python import cv2 import numpy as np import time from PIL import ImageGrab # 加载 YOLOv5 检测模型 net = cv2.dnn.readNet("yolov5.weights", "yolov5.cfg") classes = [] with open("coco.names", "r") as f: classes = [line.strip() for line in f.readlines()] # 设置输入图片大小 input_size = (640, 640) # 循环检测屏幕 while True: start_time = time.time() # 获取屏幕截图 img = ImageGrab.grab(bbox=(0, 0, 1920, 1080)) # 将 PIL 图片转换为 OpenCV 图片 img = cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR) # 对图片进行预处理 img = cv2.resize(img, input_size) img = img.transpose((2, 0, 1)) img = np.expand_dims(img, axis=0) img = img / 255.0 # 运行 YOLOv5 检测 net.setInput(img) outputs = net.forward() # 处理检测结果 conf_threshold = 0.5 nms_threshold = 0.4 boxes = [] confidences = [] class_ids = [] for output in outputs: for detection in output: scores = detection[5:] class_id = np.argmax(scores) confidence = scores[class_id] if confidence > conf_threshold: center_x = int(detection[0] * input_size[0]) center_y = int(detection[1] * input_size[1]) width = int(detection[2] * input_size[0]) height = int(detection[3] * input_size[1]) left = int(center_x - width / 2) top = int(center_y - height / 2) boxes.append([left, top, width, height]) confidences.append(float(confidence)) class_ids.append(class_id) indices = cv2.dnn.NMSBoxes(boxes, confidences, conf_threshold, nms_threshold) for i in indices: i = i[0] box = boxes[i] left = box[0] top = box[1] width = box[2] height = box[3] label = classes[class_ids[i]] cv2.rectangle(img, (left, top), (left + width, top + height), (0, 255, 0), 2) cv2.putText(img, label, (left, top - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2) # 输出检测框的左上角和右下角坐标 print("检测到 {}，左上角坐标：({},{})，右下角坐标：({}, {})".format(label, left, top, left + width, top + height)) # 显示检测结果 cv2.imshow("Screen", img) cv2.waitKey(1) end_time = time.time() fps = 1 / (end_time - start_time) print("FPS: {:.2f}".format(fps)) ``` 该代码会在控制台输出检测框的左上角和右下角坐标，方便后续的操作。同时，该代码可能会占用较高的 CPU 和内存资源，需要注意设备性能。

### 使用YOLOv8进行屏幕按键识别 #### 创建主窗口并初始化环境 为了使用YOLOv8模型来进行屏幕按键的识别，首先需要设置好开发环境以及创建应用程序的主要界面。这里采用PySide6作为图形用户界面库。 ```python import sys from PySide6.QtWidgets import QApplication, QMainWindow, QLabel from PySide6.QtGui import QImage, QPixmap from PySide6.QtCore import QTimer ``` 接着定义`MainWindow`类继承自`QMainWindow`，用于承载整个GUI布局[^1]。 #### 加载YOLOv8模型 引入必要的模块并且实例化YOLOv8对象，指定权重文件路径以加载预训练好的模型。此操作允许后续调用该模型执行预测任务。 ```python from ultralytics import YOLO model = YOLO('path_to_your_weights/yolov8n.pt', task='detect') ``` 注意替换上述代码中的`'path_to_your_weights/yolov8n.pt'`为实际存储YOLOv8权重的位置[^2]。 #### 屏幕捕获与图像处理 通过Python第三方库如Pillow或mss获取当前显示器的内容，并将其转换成适合输入到YOLOv8网络的形式——即numpy数组格式的RGB图片。考虑到实时性的需求，可能还需要加入跳帧机制减少不必要的计算开销。 ```python import numpy as np from PIL import ImageGrab import cv2 def grab_screen(): screen = np.array(ImageGrab.grab()) frame = cv2.cvtColor(screen, cv2.COLOR_BGR2RGB) return frame ``` 对于每一帧抓取下来的图像，在送入模型之前应当调整尺寸至固定大小（比如640×640），以便于保持一致性和提高推理效率[^3]。 #### 执行检测过程 当准备好待测样本后就可以调用先前准备好的YOLOv8模型对其进行推断了。通常情况下返回的结果是一个列表，其中包含了所有被发现的对象及其边界框坐标、置信度分数等信息。 ```python results = model(frame) # 对单张图像frame进行预测 for result in results: boxes = result.boxes.cpu().numpy() for box in boxes: r = box.xyxy[0].astype(int) cv2.rectangle(frame, (r[0], r[1]), (r[2], r[3]), color=(0, 255, 0), thickness=2) ``` 以上代码片段展示了如何遍历每一个检测结果并在原始画面上绘制矩形标记出各个按键位置。 #### 显示最终效果 最后一步就是更新UI组件上展示的画面，让用户能够直观看到经过标注后的截图。可以通过周期性触发事件的方式不断刷新视图内的内容，确保始终呈现最新的状态。 ```python class MainWindow(QMainWindow): def __init__(self): super().__init__() self.label = QLabel(self) timer = QTimer(self) timer.timeout.connect(self.update_frame) timer.start(30) def update_frame(self): img = grab_screen() # 获取最新一帧 # 进行物体检测... results = model(img) for result in results: ... height, width, channel = img.shape bytesPerLine = 3 * width qImg = QImage(img.data, width, height, bytesPerLine, QImage.Format_RGB888).rgbSwapped() pixmap = QPixmap.fromImage(qImg) self.label.setPixmap(pixmap) ``` 这样就完成了一个简单的基于YOLOv8的屏幕按键识别系统的搭建流程。