瑞芯微 RKNN SDK 快速上手指南--Banana Pi开源社区

此文档面向零基础用户详细介绍如何快速在计算机上使用 RKNN-Toolkit2 完成模型转换，并通过 RKNPU2 部署到 Rockchip 开发板上。本文所用示例已集成到 RKNN Model Zoo 中。 支持的平台：RK3562、RK3566系列、RK3568系列、RK3576系列、RK3588系列

• 开发板：BPI-W3, BPI-M7,BPI-AIM7, BPI-M5 Pro, BPI-CM5 Pro, BPI-R2 Pro
• OS：Debian11/12
• 目的：本文介绍如何使用Rockchip npu sdk。

作为瑞芯微8nm高性能AIOT平台，RK3576/RK3588 NPU性能可谓十分强大，6TOPS设计能够实现高效的神经网络推理计算。这使得RK3576/RK3588在图像识别、语音识别、自然语言处理等人工智能领域有着极高的性能表现。

此外，RK3576/RK3588 的NPU还支持多种学习框架，包括TensorFlow，Pytorch、Caffe、MXNet等在人工智能开发中流行的深度学习框架，能够为开发者提供丰富的工具和库，使他们能够方便地进行模型训练和推理，可轻松应对各种大数据运算场景。

1. RK3576/RK3588 NPU典型应用

计算机视觉（Computer Vision）：NPU可用于图像识别、目标检测、人脸识别等任务。在安防监控、自动驾驶、医疗影像分析等领域中有着广泛的应用。

自然语言处理（Natural Language Processing，NLP）：NPU可加速文本分类、情感分析、机器翻译等任务，使得处理大规模文本数据变得更高效。

语音识别与处理（Speech Recognition and Processing）：在语音识别、语音合成等方面，NPU可以提高处理速度和准确性，应用于智能语音助手、语音交互系统等场景。

智能家居与物联网（IoT）：NPU的低功耗特性使其适用于智能家居设备、智能监控摄像头、智能穿戴设备等物联网应用，从而实现设备的智能化和自动化。

医疗健康：在医学影像分析、疾病诊断、基因组学等领域，NPU可以加速大规模数据的处理和分析，帮助医疗工作者更准确地诊断疾病和制定治疗方案。

智能交通：在智能交通系统中，NPU可用于车辆识别、交通流量监控、智能交通信号灯控制等任务，提升交通系统的效率和安全性。

2. Rockchip NPU SDK简介​

rockchip的npu sdk分为两个部分，PC端使用的是rknn-toolkit2，可以在PC端进行模型转换，推理以及性能评估。具体来说是把主流的模型如Caffe、TensorFlow、TensorFlow Lite、ONNX、DarkNet、PyTorch 等转换为RKNN模型，并可以在PC端使用这个RKNN模型进行推理仿真，计算时间和内存开销。板端还有一部分，就是rknn runtime环境，包含一组C API库以及与NPU进行通信的驱动模块，可执行程序等。

RKNN软件栈可以帮助用户快速将AI模型部署到瑞芯微芯片上。整体框架如下：

为了使用 RKNPU，用户需要首先在计算机上运行 RKNN-Toolkit2 工具，将训练好的模型转换为 RKNN 格式的模型，然后使用 RKNN C API 或 Python API 在开发板上进行推理。

• RKNN-Toolkit2是一款软件开发套件，供用户在PC和瑞芯微NPU平台上进行模型转换、推理和性能评估。
• RKNN-Toolkit-Lite2为瑞芯微NPU平台提供Python编程接口，帮助用户部署RKNN模型，加速AI应用落地。
• RKNN Runtime为Rockchip NPU平台提供C/C++编程接口，帮助用户部署RKNN模型，加速AI应用的落地。
• RKNPU内核驱动负责与NPU硬件交互。它已经开源，可以在Rockchip内核代码中找到。

提示

RKNPU2 SDK v2.0.0-beta (for RK3576/RK3562/RK3566/RK3568/RK3588/RV1103/RV1106) https://github.com/airockchip/rknn-toolkit2

Model zoo: https://github.com/airockchip/rknn_model_zoo

docs: https://github.com/airockchip/rknn-toolkit2/tree/master/doc

3. 准备开发环境​

本章介绍如何在计算机中直接安装开发环境，后续的示例程序运行过程也将以直接安装为例说明。如果 需要在 Docker 环境中运行示例程序，可以参考第 5 章中的内容准备开发环境。 本章分为四个部分：

• 下载 RKNN 相关仓库
• 安装RKNN-Toolkit2 环境
• 安装编译工具
• 安装板端 RKNPU2 环境

3.1 下载 RKNN 相关仓库​

建议新建一个目录用来存放 RKNN 仓库，例如新建一个名称为 Projects 的文件夹，并将 RKNN-Toolkit2 和 RKNN Model Zoo 仓库存放至该目录下，参考命令如下：

# 新建 Projects 文件夹
mkdir Projects
# 进入该目录
cd Projects
# 下载 RKNN-Toolkit2 仓库
git clone https://github.com/airockchip/rknn-toolkit2.git --depth 1
# 下载 RKNN Model Zoo 仓库
git clone https://github.com/airockchip/rknn_model_zoo.git --depth 1
# 注意：
# 1.参数 --depth 1 表示只克隆最近一次 commit
# 2.如果遇到 git clone 失败的情况，也可以直接在 github 中下载压缩包到本地，然后解压至该目录

3.2 安装 RKNN-Toolkit2 环境​

3.2.1 安装 Python​

如果系统中没有安装 Python 3.8（建议版本），或者同时有多个版本的 Python 环境，建议使用Miniforge Conda 创建新的 Python 3.8 环境。

3.2.1.1 安装 Miniforge Conda​

在计算机的终端窗口中执行以下命令，检查是否安装Miniforge Conda，若已安装则可省略此节步骤。

conda -V
# 参考输出信息：conda 23.3.1 ，表示 Miniforge conda 版本为 23.3.1
# 如果提示 conda: command not found，