RK3576 yolov11训练部署教程

原创 已于 2025-04-02 15:50:25 修改 · 2.7k 阅读 · 38 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#YOLO #嵌入式硬件 #目标检测

于 2025-04-01 14:30:05 首次发布
该文章已生成可运行项目，

1. Yolo11简介

      YOLO11 系列是 YOLO 家族中最先进的 (SOTA)、最轻量级、最高效的模型，其表现优于其前辈。它由 Ultralytics 创建，该组织发布了 YOLOv8，这是迄今为止最稳定、使用最广泛的 YOLO 变体。YOLO11 将延续 YOLO 系列的传奇。
      本教程针对目标检测算法yolo11的训练和部署到EASY-EAI-Orin-nano(RK3576)进行说明，而数据标注方法可以参考我们往期的文章。

2. Yolo11模型训练

      Yolov11训练代码在导出部分对比原版会有一些修改，建议下载我们的训练代码。

百度网盘链接:https://pan.baidu.com/s/1yLKZkCOVmfUlbnWbpl103A?pwd=1234, 提取码: 1234。

2.1 数据集准备

      在开始yolo11训练前，先准备好待训练数据，如VOC2007，下载链接：http://host.robots.ox.ac.uk/pascal/VOC/voc2007/index.html，然后将VOC2007数据分成训练集和测试集两个目录，如下图示意：

2.2 Voc转Yolo

      数据准备好后，使用data/voc_2_yolo.py脚本将Voc数据格式转成Yolo数据格式。转换完成后的数据存储在原数据同级目录的yolo_data下，如下图示意：

2.3 训练参数配置

      数据转换完成后，在配置模型的训练参数：data.yaml，default.yaml，yolo11.yaml.

其中：
data.yaml：为待训练数据和验证数据的路径，以及类别数和类别名称；
default.yaml：为yolo11训练参数，可自行调整模型训练的参数；
Yolo11.yaml：为yolo11模型结构，在模型训练时，你需要修改类别数。
更多关于yolo11信息可参考：https://blog.csdn.net/qq_45972324/article/details/143892222

2.4 模型训练

      完成上述步骤后，就可以开始训练模型了，打开train.py脚本，输入data.yaml，default.yaml，yolo11.yaml路径，如下代码段所示：

from ultralytics import YOLO
import os

os.environ["KMP_DUPLICATE_LIB_OK"] = "TRUE"  # 程序报OMP: Hint This means...错误时使用

if __name__ == '__main__':
    cfg = "./demo/voc2007/cfg/default.yaml"
    data = './demo/voc2007/cfg/data.yaml'
    weight = "./demo/voc2007/cfg/yolo11.yaml"  # pt 或 yolovx.yaml
    model = YOLO(weight)

    results = model.train(
        data=data,
        cfg=cfg
    )

执行train.py训练脚本，开始模型训练，如下示意图：

python train.py

注意，训练过程仅是为了演示流程，接下来模型预测和模型转换的都是yolov11默认的80类的模型。

2.5 PC端预测模型预测

      训练完毕后，在default.yaml文件配置的project目录下保存训练过程，经验证集测试的最好结果的模型。同时可以执行模型预测，初步评估模型的效果。打开predict.py脚本，配置好模型地址和待检测图片，如下代码段所示：

if __name__ == '__main__':
    random.seed(0)
    device_ = "cpu"
    imgsz = (640, 640)
    model_path = "./demo/weights/yolo11s.pt"
    img_path = "./demo/images/bus.jpg"
    is_dir = os.path.isdir(img_path)

    device = select_device(device_)
    model = YOLO(model_path)

    # 图片预处理
    if is_dir:
        filenames = os.listdir(img_path)
        for idx, file in enumerate(filenames):
            img_file = os.path.join(img_path, file)
            im = cv2.imread(img_file)  # uint8 numpy array
            pre_img, ratio, padding = preprocess(im, device, imgsz)

            # 模型预测
            # pred = model.predict(pre_img, augment=False)[0]
            # im = draw_result(im, pred, ratio, padding)
            pred = model.predict(im, augment=False)[0]
            im = draw_result(im, pred)

            cv2.imshow("dst", im)
            cv2.waitKey()
    else:
        im = cv2.imread(img_path)  # uint8 numpy array
        pre_img, ratio, padding = preprocess(im, device, imgsz)

        # 模型预测
        # pred = model.predict(pre_img, augment=False)[0]
        # im = draw_result(im, pred, ratio, padding)
        pred = model.predict(im, augment=False)[0]
        im = draw_result(im, pred)

        cv2.imshow("dst", im)
        cv2.waitKey()

执行脚本:

python predict.py

运行脚本结果：

2.6 PT模型转ONNX

      在PC端执行export.py将pt模型转成onnx，如下代码段所示：

from ultralytics import YOLO

if __name__ == '__main__':
    format = 'rknn' # 'torchscript', 'onnx', 'openvino', 'engine', 'coreml', 'saved_model', 'pb', 'tflite', 'edgetpu', 'tfjs', 'paddle', 'ncnn'
    weight = "./demo/weights/yolo11s.pt"  # pt 或 yolovx.yaml
    model = YOLO(weight)
    results = model.export(format = format)

3. rknn-toolkit模型转换

3.1 rknn-toolkit模型转换环境搭建

       onnx模型需要转换为rknn模型才能在EASY-EAI-Orin-nano运行，所以需要先搭建rknn-toolkit模型转换工具的环境。当然tensorflow、tensroflow lite、caffe、darknet等也是通过类似的方法进行模型转换，只是本教程onnx为例。

3.1.1 概述

      模型转换环境搭建流程如下所示：

3.1.2 下载模型转换工具

      为了保证模型转换工具顺利运行，请下载网盘里“06.AI算法开发/01.rknn-toolkit2模型转换工具/rknn-toolkit2-v2.3.0/docker/rknn-toolkit2-v2.3.0-cp38-docker.tar.gz”。
网盘下载链接:https://pan.baidu.com/s/1J86chdq1klKFnpCO1RCcEA?pwd=1234提取码：1234

3.1.3 把工具移到ubuntu20.04

      把下载完成的docker镜像移到我司的虚拟机ubuntu20.04的rknn-toolkit2目录,如下图所示：

3.1.4 运行模型转换工具环境

      在该目录打开终端：

执行以下指令加载模型转换工具docker镜像:

docker load --input rknn-toolkit2-v2.3.0-cp38-docker.tar.gz

执行以下指令进入镜像bash环境:

docker run -t -i --privileged -v /dev/bus/usb:/dev/bus/usb rknn-toolkit2:2.3.0-cp38 /bin/bash

现象如下图所示:

输入“python”加载python相关库，尝试加载rknn库，如下图环境测试成功:

至此，模型转换工具环境搭建完成。

4. 模型转换为RKNN

      EASY EAI Orin-nano支持.rknn后缀的模型的评估及运行，对于常见的tensorflow、tensroflow lite、caffe、darknet、onnx和Pytorch模型都可以通过我们提供的 toolkit 工具将其转换至 rknn 模型，而对于其他框架训练出来的模型，也可以先将其转至 onnx 模型再转换为 rknn 模型。模型转换操作流程入下图所示：

4.1 模型转换Demo下载

      下载百度网盘链接：https://pan.baidu.com/s/1IiOeH15nYrNu8k1LkyFoVQ?pwd=1234 提取码：1234。 把 yolov11_model_convert.tar.bz2和quant_dataset.zip解压到虚拟机，如下图所示:

4.2 进入模型转换工具docker环境

    执行以下指令把工作区域映射进docker镜像，其中/home/developer/rknn-toolkit2/model_convert为工作区域，/test为映射到docker镜像，/dev/bus/usb:/dev/bus/usb为映射usb到docker镜像：

docker run -t -i --privileged -v /dev/bus/usb:/dev/bus/usb -v /home/developer/rknn-toolkit2/model_convert:/test rknn-toolkit2:2.3.0-cp38 /bin/bash

执行成功如下图所示:

4.3 模型转换操作说明

4.3.1 模型转换Demo目录结构

      模型转换测试Demo由yolov11_model_convert和quant_dataset组成。yolov11_model_convert存放软件脚本，quant_dataset存放量化模型所需的数据。如下图所示:

Yolov11_model_convert文件夹存放以下内容，如下图所示：

4.3.2 生成量化图片列表

      在docker环境切换到模型转换工作目录:

cd /test/yolov11_model_convert

如下图所示:

执行gen_list.py生成量化图片列表:

python gen_list.py

命令行现象如下图所示:

生成“量化图片列表”如下文件夹所示:

4.3.3 onnx模型转换为rknn模型

      rknn_convert.py脚本默认进行int8量化操作，脚本代码清单如下所示：

import sys
from rknn.api import RKNN

ONNX_MODEL = 'yolov11s.onnx'
DATASET = './pic_path.txt'
RKNN_MODEL = './yolov11s_rk3576.rknn'
QUANTIZE_ON = True


if __name__ == '__main__':

    # Create RKNN object
    rknn = RKNN(verbose=False)

    # Pre-process config
    print('--> Config model')
    rknn.config(mean_values=[[0, 0, 0]], std_values=[
                    [255, 255, 255]], target_platform='rk3576')
    print('done')

    # Load model
    print('--> Loading model')
    ret = rknn.load_onnx(model=ONNX_MODEL)
    if ret != 0:
        print('Load model failed!')
        exit(ret)
    print('done')

    # Build model
    print('--> Building model')
    ret = rknn.build(do_quantization=QUANTIZE_ON, dataset=DATASET)
    if ret != 0:
        print('Build model failed!')
        exit(ret)
    print('done')

    # Export rknn model
    print('--> Export rknn model')
    ret = rknn.export_rknn(RKNN_MODEL)
    if ret != 0:
        print('Export rknn model failed!')
        exit(ret)
    print('done')

    # Release
    rknn.release()

把onnx模型yolov11s.onnx放到yolov11_model_convert目录(后续用户使用自己的模型的时候，替换掉对应的onnx即可)，并执行rknn_convert.py脚本进行模型转换：

python rknn_convert.py

生成模型如下图所示，此模型可以在rknn环境和EASY EAI Orin-nano环境运行：

5. 模型部署示例

5.1 模型部署示例介绍

      本小节展示yolo11模型的在EASY EAI Orin-nano的部署过程，本章章节使用的yolo11s.rknn模型的是由Ultralytics 官方提供的yolo11s.pt转换而来。

5.2 源码下载以及例程编译

      下载yolo11 C Demo示例文件：

百度网盘链接: https://pan.baidu.com/s/1B5GSc48RjQmZijUDLhB1iA?pwd=1234 ,提取码: 1234。
下载程序包移至ubuntu环境后，执行以下指令解压：

tar -xvf yolov11_detect_C_demo.tar.bz2

下载解压后如下图所示:

通过adb接口连接EASY-EAI-Orin-nano,，连接方式如下图所示:


接下来需要通过adb把源码传输到板卡上，先切换目录然后执行以下指令：

cd ~/rknn-toolkit2
adb push yolov11_detect_C_demo/ /userdata

登录到板子切换到例程目录执行编译操作：

adb shell
cd /userdata/yolov11_detect_C_demo
chmod 777 build.sh
./build.sh

5.3 开发板执行yolov11目标检测算法

      编译成功后切换到可执行程序目录，如下所示：

cd /userdata/yolov11_detect_C_demo/yolov11_detect_demo_release

运行例程命令如下所示：

chmod 777 yolov11_detect_demo
./yolov11_detect_demo yolov11s_rk3576.rknn bus.jpg

执行结果如下图所示,yolov11s算法执行时间为47ms：

退出板卡环境，取回测试图片:

exit
adb pull /userdata/yolov11_detect_C_demo/yolov11_detect_demo_release/results.jpg .

测试结果如下图所示:

至此，yolov11目标检测例程已成功在板卡运行。

6. 资料下载

资料名称链接
算法训练部署教程完整源码包https://pan.baidu.com/s/1thi_fY37fQzKYMmHQ-g3Ag?pwd=1234
提取码：1234

EASY-EAI-Orin-Nano yolov11 训练部署教程在线文档：

https://www.easy-eai.com/document_details/25/982

本篇文章到这里就结束啦，关于我们更多请前往官网了解

https://www.easy-eai.com

本文章已经生成可运行项目
RK3568笔记五十五：yolov10训练部署测试
08-17 825
若该文为原创文章，转载请注明原文出处。yolov8还没熟悉，yolov10就出来了，本篇记录使用yolov10训练自己的数据，并部署到rk3568上。参考大佬的博客。
【瑞芯微rk3576亲测可用】将rknn-yolo11作为插件集成到 GStreamer管道流中
02-07
本项目将YOLO11 RKNN目标检测程序改造为GStreamer插件,支持: 1、从RTSP源接收H264视频流 2、实时目标检测 3、绘制检测框 4、推流到RTMP服务器
实测对比：RK3576的NPU跑YOLOv11，比用CPU/GPU快多少？功耗如何？
最新发布
weixin_30687051的博客
03-23 24
本文通过实测数据对比了RK3576芯片的NPU、CPU和GPU在运行YOLOv11模型时的性能与功耗表现。结果显示，NPU在640×640分辨率下帧率达到23.7FPS，是CPU的4.1倍，且能效比高达31.5FPS/W，显著优于CPU和GPU。文章还提供了不同应用场景下的硬件配置建议和优化技巧，为边缘计算设备选型提供参考。
从零到一：在RK3576上实战YOLOv11全流程训练与部署
weixin_29075633的博客
03-12 188
本文提供了在RK3576芯片上从零开始训练并部署YOLOv11目标检测模型的完整实战指南。详细介绍了从准备数据集、配置训练环境、导出ONNX模型，到使用RKNN-Toolkit2进行模型转换与量化，最终在EASY-EAI-Orin-nano开发板上完成部署与调试的全流程，并分享了关键配置与常见问题解决方案。
yolov11 训练自己的数据并转换rknn部署至firefly-rk3576 并实现视频实时推理侦测 使用c++部署和python部署方式
2301_79285399的博客
05-08 2208
模型训练这块直接参考官方示例，yolov11源码获取地址: https://github.com/ultralytics/ultralyticsannaconda下载地址：Download Anaconda Distribution | Anacondapycharm下载地址：PyCharm: The only Python IDE you need本文数据集来源paddlepaddle，下载链接：车辆识别_数据集-飞桨AI Studio星河社区制作数据集：第一步xml转txt ，
从模型到边缘：RK3576实战部署YOLOv11全流程解析
ik678901234的博客
03-06 207
本文详细解析了在瑞芯微RK3576芯片上实战部署YOLOv11模型的全流程。内容涵盖从模型准备、ONNX转换，到利用RKNN-Toolkit2进行INT8量化优化，最终在RK3576边缘设备上实现实时视频流推理。文章重点分享了环境搭建、模型转换、板端C++编程及性能调优等核心步骤与实战经验，为嵌入式AI与边缘计算应用开发提供完整指南。
RK3576 yolov11-seg训练部署教程
EASY_EAI的博客
04-16 2001
yolov11-seg 是YOLO（You Only Look Once）系列的最新成员，专为实时实例分割任务设计。它在保持YOLO家族高效推理速度的同时，通过创新的网络结构和分割头设计，实现了像素级的精确目标检测与分割，适用于自动驾驶、医学影像、工业检测等对精度和速度要求苛刻的场景。本教程针对目标分割算法yolov11 seg的训练和部署到EASY-EAI-Orin-nano(RK3576)进行说明，而数据标注方法可以参考我们往期的文章。
RK3576部署yolov5
qq_39697468的博客
12-04 1120
为了使用 RKNPU，需要先在电脑上运行 RKNN-Toolkit2 工具，将训练好的模型转换为 RKNN 格式的模型，然后在开发板上使用 RKNN C API 或 Python API 进行推理。然后再利用rknn-toolkit2//rknpu2/examples/rknn_yolov5_demo/convert_rknn_demo/yolov5做转化，转成rknn进行部署。下载之后安装相应的环境：yolov5的环境安装就不在此过多赘述了。模型做一些修改，主要是将官方的模型的box decode删除。
基于RK3576开发板的yolov5训练部署教程
EASY_EAI的博客
05-16 2117
YOLOv5是Ultralytics公司于2020年发布的目标检测模型，基于YOLOv3改进，具有更小的权重文件和更快的训练与推理速度。本教程详细介绍了如何将YOLOv5模型训练并部署到EASY-EAI-Orin-nano（RK3576）设备上。首先，通过下载口罩检测数据集并生成路径列表，接着克隆YOLOv5训练源码并修改配置文件进行模型训练。训练完成后，模型可转换为ONNX格式，再通过rknn-toolkit工具转换为RKNN格式，以便在EASY-EAI-Orin-nano上运行。最后，教程展示了如何在开
RK3576边缘计算设备部署YOLOv11
crasher123的博客
09-09 1721
RK3576 是瑞芯微推出的一款高效能边缘计算芯片，集成了多核 CPU、GPU 和 NPU（神经网络处理单元），在执行 AI 推理任务时具有较强的计算能力。
RK3576 Yolo 部署
驱动人生
06-23 1181
主要是在 rknn_model_zoo/examples/yolov8/python/convert.py 上修改，convert.py 主要是转换 onnx 为 rknn， 主要修改 load_onnx -> load_pytorch。yolo8 转换工具 ultralytics 和 ultralytics_yolov8，ultralytics 安装相关环境，理论上ultralytics_yolov8 安装环境应该也是可以的。由于是测试代码，可以直接在 RK3576 上编译，正式项目还是使用交叉编译。
【计算机视觉】基于RK3588的YOLOv11模型部署：从环境搭建到推理优化的全流程实战指南
01-03
内容概要：本文是一份从零开始在RK3588开发板上部署YOLOv11目标检测模型的完整指南，涵盖技术背景介绍、PC端环境搭建、模型训练、模型转换与量化优化、RK3588端部署及进阶拓展。文章详细讲解了如何使用VS Code和...
【计算机视觉】基于RK3588的YOLOv11模型部署：边缘计算场景下目标检测系统构建与优化
01-03
内容概要：本文详细介绍了在RK3588芯片上部署YOLOv11目标检测模型的完整流程，涵盖从PC端环境搭建、模型训练、模型转换与优化，到RK3588开发板端部署与效果验证的全过程。重点包括使用Anaconda配置Python 3.9环境、...
yolov5训练的安全帽检测C++部署rk3568（ubuntu20系统）（源码）
12-09
yolov5训练的安全帽检测C++部署rk3568（ubuntu20系统） 可以进行图片、视频、摄像头检测。且增加计数，可在检测到安全帽后在图像的左上角显示数量。 使用方法：代码上传开发板，使用vscode远程连接开发板，使用cmake...
谁说AI不懂吃？我用一盘小炒肉，跑通了YOLOv11 + RK3576菜品识别的全流程！
neardi_dev的博客
12-22 697
本文介绍了一个基于YOLOv11框架的菜品识别项目开发过程。作者在RK3576开发板上实现了对小炒肉、米饭和西红柿炒蛋的精准识别。重点分享了数据采集技巧（避免视频抽帧、保持光线真实、平衡样本量）、标注注意事项（英文命名、精细标注）以及模型训练优化（最终5.5MB模型达到0.964的mAP50-95）。特别说明了如何在RK3576开发板上进行模型转换和部署，包括NPU优化、ONNX导出和RKNN格式转换等关键步骤，最终实现了59.3ms的单图推理速度。
RK3576 yolov8训练部署教程
EASY_EAI的博客
04-02 1990
本章展示yolov8模型的在EASY EAI Orin nano的部署过程。
RK3576开发板实战：5步搞定YOLOv5模型转换与部署（含避坑指南）
n4o5p6q7r的博客
02-20 592
本文详细介绍了在RK3576开发板上实现YOLOv5模型转换与部署的5个关键步骤，包括环境配置、模型转换、量化校准、模型验证和性能优化。通过使用迅为官方Docker镜像和RKNN-Toolkit2，开发者可以高效完成从PyTorch到RKNN的转换，并避免常见陷阱。文章还提供了量化校准和性能优化的实用技巧，帮助释放NPU的全部潜力。
YOLOv8n在RK3576端侧部署：NPU加速与RKNN量化实战
weixin_36047538的博客
03-20 122
目标检测是边缘智能的核心能力，而YOLO系列凭借单阶段架构与实时推理优势，成为工业视觉落地的首选模型。其原理在于Backbone-Neck-Head三级特征协同，通过多尺度预测实现速度与精度平衡。技术价值体现在低延迟、小模型、高兼容性，尤其适配NPU等专用AI加速单元。典型应用场景涵盖智能安防、工业质检、嵌入式视觉终端等对功耗与实时性敏感的领域。本文聚焦YOLOv8n在RK3576平台的端侧部署，深入解析RKNN量化流程、dfl分支优化及NPU-CPU协同推理机制，覆盖ONNX导出改造、INT8量化配置与C
RK3576平台YOLOv8模型训练与部署全面教程
RK3576 yolov8训练部署教程[项目代码]的知识点主要涵盖以下几个方面： 1. RK3576平台介绍： RK3576是瑞芯微电子推出的一款高性能、低功耗的边缘计算芯片，常用于AI加速、图像处理等领域。EASY-EAI-Orin-nano是基于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值