从训练成生成的our.pt到our.onnx再到our.rknn模型转换流程（RK3588全）

已于 2024-12-03 10:57:06 修改
阅读量1.7k 收藏 42
点赞数 37
CC 4.0 BY-SA版权
分类专栏： 学习工具 文章标签： linux python YOLO rk3588
于 2024-11-20 16:15:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_Z_jay/article/details/143915230

从训练成生成的our.pt到our.onnx再到our.rknn模型转换流程（RK3588全）

  • 本文是在前一篇文章的基础上完成的，《yolov8s.pt转换成onxx再转换成rknn模型用于RK3588》，这篇文章，可以转换成功，但是转换后推理结果慢而且乱画框，怀疑是版本太高，与板子版本不匹配。
  • 最后决定在板子提供的硬件文档中，找到了部分转换方法，并结合自己在网上搜的内容，成功完成模型转换，并在板子上进行验证。

our.pt转换成our.onnx

这步转换需要用到瑞芯微提供的转换工具

下载airockchip_yolov5

下载地址：https://github.com/airockchip/yolov5

  • 该工具的作用如README_rkopt.md 文件中所述
    在这里插入图片描述

  • 导出onnx的命令是：python export.py --rknpu --weight yolov5s.pt，yolov5s.pt是模型权重

  • 和ultralytics_yolov5官方的不同之处
    在这里插入图片描述

    • 总结：为了能将yolov5用在硬件上，瑞芯微提供了这个转换工具，与ultralytics_yolov5官方提供的网络结构有以下三个不同点
      • 优化 focus/SPPF块，以求在相同的结果下获得更好的性能
      • 更改输出节点，从模型中删除post_process。（模型中的后处理块不利于量化）
      • 使用ReLU代替SiLU作为激活层（仅在训练新模型时有效），该代码在yolov5-master\models\common.py中体现出来。只有用这个代码进行训练的时候，这个激活函数才会被修改。

    在这里插入图片描述

  • 本工具是基于https://github.com/ultralytics/yolov5/releases/tag/v7.0改的，该句来自README_rkopt.md 文件中Source部分的描述。
    在这里插入图片描述

  • 本次演示中使用的pt文件是我们自己训练生成的，名为our.pt

创建模型转换环境

大家买板子的时候，厂家都会提供很多文档，其中应该也包含着模型转换的流程，在我们的文档只提供有onnx转rknn的流程（也许有全流程，但我没找到），文档一般都会说明模型转换的环境，如下图所示：

  • 我们的文档名称为： Rockchip_User_Guide_RKNN_Toolkit2_CN-1.5.0.pdf
  • 位于虚拟机路径：/home/tronlong/RK3588/rk3588_linux_release_v1.2.1/external/rknn-toolkit2/doc
    在这里插入图片描述
    注：但是在实际转换中，有的版本不一样其实也可以
    使用lsb_release -a查看虚拟机版本
    在这里插入图片描述
    这里可以看到我们的虚拟机版本是Ubuntu20.04版本，所以我们需要装左边对应的版本。
在虚拟机中安装环境
打开终端依次执行如下命令

  • 安装Python3 工具及依赖库

    sudo apt-get install python3 python3-dev python3-pip
sudo apt-get install libxslt1-dev zlib1g zlib1g-dev libglib2.0-0 libsm6 libgl1-mesa-glx libprotobuf-dev gcc

    在这里插入图片描述
    在这里插入图片描述

  • 安装virtualenv工具

    sudo apt install virtualenv

    在这里插入图片描述

  • 创建虚拟环境

    • 在桌面打开终端执行：virtualenv -p /usr/bin/python3 convert_model ，可以看到我的python版本是3.8.10,符合要求的python为3.8版本，创建的虚拟环境的name为convert_model。
      在这里插入图片描述

    • 进入创建的虚拟环境

      source convert_model/bin/activate

      在这里插入图片描述

      注： 我把虚拟创建到桌面了，上述命令仅在桌面打开终端时可以用，不然就需要改路径(执行的是convert_model/bin/activate文件)
      在这里插入图片描述

    • 进入LinuxSDK源码rknn-toolkit2/目录
      cd /home/tronlong/RK3588/rk3588_linux_release_v1.2.1/external/rknn-toolkit2/
      在这里插入图片描述

    • 安装 依赖库，我的python版本是3.8.10，所以这里执行命令

       pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple -r doc/requirements_cp38-1.5.0.txt

      安装cp38的txt
      在这里插入图片描述
      在这里插入图片描述

    • 接下来安装 RKNN-Toolkit2

      pip3 install packages/rknn_toolkit2-1.5.0+1fa95b5c-cp38-cp38-linux_x86_64.whl

      在这里插入图片描述

  • 参考Rockchip_User_Guide_RKNN_Toolkit2_CN-1.5.0.pdf文档中的3.1.1 通过pip install命令安装 部分

  • 参考Rockchip_User_Guide_RKNN_Toolkit2_CN-1.5.0.pdf文档中的3.1.1 通过pip install命令安装 部分

开始转换

  • 切换路径到瑞芯微提供的转换工具，如下图所示，我的路径是在
    /home/tronlong/RK3588/rk3588_linux_release_v1.2.1/airockchip_yolov5/yolov5-master在这里插入图片描述
    在这里插入图片描述

    • 然后修改models/yolo.py文件中的Detect类中的forward方法为
       def forward(self, x):
        z = []  # inference output
        for i in range(self.nl):
            x[i] = self.m[i](x[i]) # conv
        return x
      注： 经过实验发现，如果不修改原来的forward方法，推理结果会乱画框。
      在这里插入图片描述

  • cd切换到export.py所在的目录下，执行命令 python export.py --rknpu --weight our.pt 这里的our.pt是我们训练生成的pt。
    在这里插入图片描述
    注： 在运行的过程中，也会有缺少库或者版本不匹配的问题，这个时候针对下载就行了。

    • 有时库下载不下来，这个需要使用国内镜像下载，网上搜索即可。

      • 例如：pip3 install ipython -i https://pypi.tuna.tsinghua.edu.cn/simple
        其中的-i https://pypi.tuna.tsinghua.edu.cn/simple就是添加镜像的意思

      • 后边有我创建好的环境库文件requirements.txt，可以按照那个创建环境。具体做法：进入创建好的虚拟环境，执行pip install -r requirements.txt

    在这里插入图片描述在这里插入图片描述

  • 最后成功运行，即可生成our.onnx文件
    使用netron软件可以查看生成的onnx网络结构
    在这里插入图片描述

    在这里插入图片描述
    在这里插入图片描述

our.onnx生成our.rknn

  • 切换到airockchip_yolov5/onnx_rknn目录下
    cd ../onnx_rknn/

在这里插入图片描述

  • 需要修改以下3个地方，我的platform是rk3588，保持不变，onnx存放位置在onnx_models文件夹，rknn_models存放生成的rknn模型，该文件夹可以不用创建，代码检查没有该文件夹则会自行创建
    在这里插入图片描述
  • 完整代码如下所示：

import cv2
import numpy as np

from rknn.api import RKNN
import os

if __name__ == '__main__':

    platform = 'rk3588'
    Width = 640
    Height = 640

    MODEL_PATH = './onnx_models/our.onnx'
    NEED_BUILD_MODEL = True


    # Create RKNN object
    rknn = RKNN()

    OUT_DIR = "rknn_models"
    RKNN_MODEL_PATH = './rknn_models/our.rknn'

    if NEED_BUILD_MODEL:
        DATASET = './dataset.txt'
        rknn.config(mean_values=[[0, 0, 0]], std_values=[
                    [255, 255, 255]], target_platform=platform)
        # Load model
        print('--> Loading model')
        ret = rknn.load_onnx(MODEL_PATH)
        if ret != 0:
            print('load model failed!')
            exit(ret)
        print('done')

        # Build model
        print('--> Building model')
        ret = rknn.build(do_quantization=True, dataset=DATASET)
        if ret != 0:
            print('build model failed.')
            exit(ret)
        print('done')

        # Export rknn model
        if not os.path.exists(OUT_DIR):
            os.mkdir(OUT_DIR)
        print('--> Export RKNN model: {}'.format(RKNN_MODEL_PATH))
        ret = rknn.export_rknn(RKNN_MODEL_PATH)
        if ret != 0:
            print('Export rknn model failed.')
            exit(ret)
        print('done')
    else:
        ret = rknn.load_rknn(RKNN_MODEL_PATH)

    rknn.release()
  • 在终端输入 python3 onnx2rknn.py，模型转换成功。
    在这里插入图片描述
    在这里插入图片描述
  • 使用netron软件可以查看生成的rknn网络结构
    在这里插入图片描述

在rk3588板子上的运行效果

在这里插入图片描述

requirement.txt

absl-py==0.15.0
asttokens==2.4.1
astunparse==1.6.3
backcall==0.2.0
cachetools==4.2.4
certifi==2024.8.30
charset-normalizer==2.0.12
clang==5.0
contourpy==1.1.1
cycler==0.12.1
decorator==5.1.1
executing==2.1.0
fast-histogram==0.11
flatbuffers==1.12
fonttools==4.55.0
gast==0.4.0
google-auth==1.35.0
google-auth-oauthlib==0.4.6
google-pasta==0.2.0
grpcio==1.67.1
h5py==3.1.0
idna==3.10
importlib-metadata==8.5.0
importlib-resources==6.4.5
ipython==8.12.3
jedi==0.19.2
keras==2.6.0
Keras-Preprocessing==1.1.2
kiwisolver==1.4.7
Markdown==3.7
MarkupSafe==2.1.5
matplotlib==3.7.5
matplotlib-inline==0.1.7
numpy==1.20.3
oauthlib==3.2.2
onnx==1.10.0
onnxoptimizer==0.2.7
onnxruntime==1.10.0
opencv-python==4.5.5.64
opt-einsum==3.3.0
packaging==24.2
pandas==2.0.3
parso==0.8.4
pexpect==4.9.0
pickleshare==0.7.5
Pillow==7.0.0
prompt-toolkit==3.0.48
protobuf==3.12.2
psutil==5.9.0
ptyprocess==0.7.0
pure-eval==0.2.3
pyasn1==0.6.1
pyasn1-modules==0.4.1
pygments==2.18.0
pyparsing==3.1.4
python-dateutil==2.9.0.post0
pytz==2024.2
PyYAML==6.0.2
requests==2.27.1
requests-oauthlib==2.0.0
rknn-toolkit2==1.5.0+1fa95b5c
rsa==4.9
ruamel.yaml==0.17.4
ruamel.yaml.clib==0.2.8
scipy==1.5.4
seaborn==0.13.2
six==1.15.0
stack-data==0.6.3
tensorboard==2.6.0
tensorboard-data-server==0.6.1
tensorboard-plugin-wit==1.8.1
tensorflow==2.6.2
tensorflow-estimator==2.6.0
termcolor==1.1.0
torch==1.10.1
torchvision==0.11.2
tqdm==4.64.0
traitlets==5.14.3
typing-extensions==3.7.4.3
tzdata==2024.2
urllib3==1.26.20
wcwidth==0.2.13
werkzeug==3.0.6
wrapt==1.12.1
zipp==3.20.2
将ONNX模型转化为RKNN模型
web_bug407的博客
09-24 2682
在本文中，我们将探讨如何将ONNX模型转化为RKNN模型，以在RK1126平台上进行推理。在本文中，我们将探讨如何将ONNX模型转化为RKNN模型，以在RK1126平台上进行推理。现在，我们已经成功将ONNX模型转化为RKNN模型，并将其导出到了文件中。现在，我们已经成功将ONNX模型转化为RKNN模型，并将其导出到了文件中。在加载了ONNX模型后，我们需要对模型进行编译和量化，以便在RK1126平台上进行推理。在加载了ONNX模型后，我们需要对模型进行编译和量化，以便在RK1126平台上进行推理。
将onnx模型转化为RV1126平台的rknn模型
cumtchw
03-08 3765
以下是将onnx模型转化为RV1126平台的rknn模型的脚本。 import os import sys import numpy as np from rknn.api import RKNN ONNX_MODEL = 'mask.onnx' RKNN_MODEL = 'yolov5s_mask.rknn' if __name__ == '__main__': # Create RKNN object rknn = RKNN(verbose=True) # pre-p
onnx篇---onnx转换成rknn
心惠天意
08-17 5813
多张图预测 # -- coding: utf-8 -- import os import urllib import traceback import time import sys import numpy as np import cv2 from matplotlib import pyplot as plt from rknn.api import RKNN def show_outputs(outputs): # output = outputs[0][0] output =
onnx模型转入rknn3399平台上工作记录
最新发布
猫猫与橙子的博客
05-23 731
使用rknn平台转模型时的一些报错
模型部署之——ONNX模型转RKNN
Ceri的博客
12-27 3439
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考提示：这里对文章进行总结：例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
onnx模型转rknn到部署
06-28 3113
最近开始用3568的板子，之前是在用3399，cpu的话3399比3568强，但是3568有1T的npu算力，所以模型移植过来用npu使用，之前用ncnn感觉太慢了，rk的npu使用没有开源，所以没法兼容，只能跑rknn了。有些版本可以有限制，无法查询当前的命令，但是如果代码能够正常执行就行。这里采用的模型是 insightface 的 det_500m.onnx 模型，用来做人脸目标检测。
【yolov5】onnx转rknn
qq_56187001的博客
01-20 2047
进入解压后的文件夹examples/onnx/yolov5文件夹中，此时可以看到的目录结构，其中test.py为转换文件，dataset.txt为则是图片的名字，bus.jpg为测试图片，还会有一个官方提供的yolov5的onnx模型。我在最初进行转换后不能用官方的demo，一旦运行，香橙派直接死机，我是按照这个大佬重新下载了1.5.2的包。而后输出检测结果，并且在该文件中输出一张在rk3588上模拟运行的图片，在这里可以完成，通常说明已经完成了模型的转换。进去后直接下载即可，在虚拟机中解压。
【rknn】onnx转rknn脚本解读以及函数解读(版本V1.7.3)
sazass的博客
02-22 6967
创建rknn对象。rknn的参数配置，这个函数需要设置的参数细节很多。加载onnx模型构建rknn模型模型转换并输出rknn模型接下来，依次具体介绍上述这些函数，以及包含的所有参数和默认值。建议直接在官网github上找到最新的整体流程图：当前介绍的rknn-api版本是V1.7.3。
yolov5 onnx模型 转为 rknn模型
weixin_45824067的博客
07-28 4926
这一步是把准备好的一些图片，生成图片路径的文本文件，在构建RKNN模型的时候有用处。通过使用真实的样本数据集，RKNN工具可以更好地理解和建模模型的输入数据，从而更好地优化网络结构、权重和量化方案。这一步如果是在虚拟机上运行的话，8GB的内存条win10系统也要用，分配给虚拟机的没多少，3GB也不够执行这一步。后来我直接在Ubuntu系统执行这一步，8GB系统用一点还剩6.7GB，CPU和内存直接干满。还是在docker环境 模型转换工作目录，运行rknn_convert.py。为映射到docker镜像。
.onnx模型转.rknn模型方法详解
weixin_58183392的博客
04-03 3952
将上面的your onnx model换成自己的onnx名称，运行这段代码，既可在工作目录下生成一个名为。将所需环境安装好以后就可以新建一个：onnx2rknn.py的文件，用于模型转换。的文件夹，生成的rknn模型就在这个文件夹下。首先安装对应的onnx和rknn相关环境。
YoloV5的Onnx模型转RKNN模型(包成功，最详细)
chui_yu666的博客
04-03 1666
下面是前期准备：1.环境存储：建议100G以上(我感觉50G左右可能够)2.文件rknn-toolkit2-1.4.0.zip(下载链接见4.其它)onnx模型(算子集版本小于等于 12,具体原因详见4.其它中的3.1报错提示)验证图片模型的类别3.方式本博客使用VMware虚拟机以及VMware共享文件夹实现虚拟机和主机之间的互传文件。
yolov5_for_rknn:PyTorch中的YOLOv5> ONNX> RKNN
05-10
原版仓库： 修改版 yolov5 使用方法 环境要求：python version >= 3.6 模型训练：python3 train.py 模型导出：python3 models/export.py --weights "xxx.pt" 转换rknn：python3 onnx_to_rknn.py 模型推理：python3 rknn_detect_yolov5.py 注意事项：如果训练尺寸不是640那么，anchors会自动聚类重新生成，生成的结果在训练时打印在控制台，或者通过动态查看torch模型类属性获取，如果anchors不对应那么结果就会出现问题。 建议：在训练时如果size不是640，那么可以先通过聚类得到anchors并将新的anchors写入到模型配置文件中，然后再训练，防止动态获取的anchors在rknn上预测不准的问题。训练参数别忘记加上 --noautoanchor
官方yolo v8模型通过onnx转为rknn模型在rocketchip上运行的trick
sinat_14910583的博客
02-07 2487
以上是本菜鸡的一些粗略的踩坑记录，希望对同样困扰的伙伴有所帮助。若有大神路过请留言指导，拯救一下我这个小白。
pytorch模型转onnx-量化rknn（bisenet）
橙子Blue不加冰
01-26 9714
1.pytorch模型转化onnx 先把pytorch的.pth模型转成onnx,例如我这个是用Bisenet转的 import argparse import os.path as osp import sys sys.path.insert(0, '.') import torch from lib.models import model_factory from configs import set_cfg_from_file torch.set_grad_enabled(False) pa
【保姆级教程】从Yolov8训练模型到转化Onnx再转换为Rknn以及板端部署全记录
热门推荐
Striver_Nwj的博客
10-27 1万+
如果高帧率的识别，首先需要查看自己的摄像头的配置，查看摄像头最高支持多少FPS，以及对应的(CAP_PROP_FRAME_WIDTH,CAP_PROP_FRAME_HEIGHT)。首先需要准备一个安装有ubuntu22.04的虚拟机，具体流程：下载VMware，加载ubuntu-22.04.3-desktop-amd64.iso的镜像，一步一步进行操作。事先准备：将下载好的rknn-toolkit2-master文件下的rknpu2和rknn-toolkit-lite2拖到设备中的目录下。
YOLO训练出来的的PT模型转ONNX，ONNX转RKNN教程（Ultralytics篇）
Chen_sir577的博客
11-14 4320
使用Ultralytics工具下的YOLO检测算法，并部署到国产RK3588开发板测试下效果。本文使用的是yolov8-p2训练完的模型作为参考。
瑞芯微1808模型转换(onnx到rknn)环境配置过程
qq_46396470的博客
01-30 1302
→→。
YOLOv8n部署RK3588开发板全流程（PT→ONNX→RKNN模型转换、板端后处理检测）
A_l_b_ert的博客
07-31 9936
小白博主，第一次写博客记录自己YOLOv8n部署RK3588开发板的全流程，记录下踩的所有坑，欢迎交流。本篇主要参考博主@山水无移-ZhangQian的文章，如有需要，可自行查看参考。欢迎各位小伙伴评论交流。
PC端运行yolov5官方demo：onnx文件转rknn并仿真
glory的博客
08-24 2103
官方demo路径 首先，修改config的参数加上 target_platform = 'rv1126' 然后 init_runtime(target='rv1126', device_id='xxx') 注意，我的第一个修改是这样 rknn.load_onnx(model=ONNX_MODEL, outputs=['output', '317', '337'])#,outputs=['396', '458', '520'] 查看输出 print(input0_data.sha...
onnx转换rknn
05-16
### 将ONNX模型转换为RKNN格式的方法 将ONNX模型转换为RKNN格式通常需要借助Rockchip官方提供的 **RKNN Toolkit** 工具包。以下是关于该过程的具体说明以及相关工具的使用方法。 #### RKNN Toolkit简介 RKNN Toolkit 是 Rockchip 提供的一个用于优化和部署神经网络模型至其硬件平台（如RK3588系列芯片）的开发套件。它支持多种主流框架的模型导入，其中包括 ONNX 格式的模型[^1]。 #### 转换流程概述 整个转换流程可以分为以下几个部分： 1. 安装 RKNN Toolkit 用户需先安装适用于目标系统的 RKNN Toolkit 版本。对于 Linux 平台，可以通过 pip 或者 Docker 的方式完成安装。 2. 准备环境与资源文件 确保拥有待转换的 ONNX 文件，并将其放置于指定的工作目录下。如果涉及图像输入，则还需准备对应的测试数据集或样本图片[^3]。 3. 编写脚本实现自动化操作 利用 Python API 接口编写一段简单的程序来执行具体的加载、配置及导出动作。 #### 实际代码示例 以下展示了一段完整的Python脚本来演示如何通过RKNN Toolkit把名为`best-sim.onnx`的ONNX模型转成RKNN格式: ```python import rknn.api as rknn_api def convert_onnx_to_rknn(onnx_model_path, output_rknn_path): # 初始化RKNN实例 rknn = rknn_api.RKNN() try: print('Loading ONNX Model...') ret = rknn.load_onnx(model=onnx_model_path) if ret != 0: raise Exception("Failed to load model.") print('Configuring RKNN Parameters...') rknn.config(channel_mean_value='0 0 0 1', reorder_channel='0 1 2') print('Building RKNN Model...') ret = rknn.build(do_quantization=True, dataset='./DATASET.txt') if ret != 0: raise Exception("Build failed!") print(f'Saving RKNN Model into {output_rknn_path}') rknn.export_rknn(path=output_rknn_path) finally: rknn.release() if __name__ == '__main__': onnx_file = 'best-sim.onnx' rknn_output = 'best-sim.rknn' convert_onnx_to_rknn(onnx_file, rknn_output) ``` 此段代码实现了从读取给定路径下的 `best-sim.onnx`, 经过一系列参数调整之后保存最终产物为同名但扩展名为`.rknn`的新文档形式[^2]. #### 注意事项 - 在实际应用过程中可能还需要额外设置量化选项(`do_quantization`)以及其他高级特性以便更好地适配特定设备性能需求. - 数据预处理阶段所使用的均值标准化向量(`channel_mean_value`)应依据原训练集中定义的标准来进行设定. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱叨叨的小嘟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值