- 博客(27)
- 收藏
- 关注
RSS订阅
原创 RK3588 16路实时视频流检测
16路摄像头帧率均控制在10FPS。为保证实时性，推理帧率支持每2帧推理一次，下述演示视频推理帧率为每5帧推理一次。DMA 数据缓冲区 + RKNN零拷贝API推理框架 + RKNN RGA数据处理，极大程度上优化CPU利用率，实测16路实时视频流，4个不同算法CPU利用率仅为260%左右（RK3588 8核CPU满负荷为800%），三个NPU利用率仅占60%左右（3个NPU满负荷为300%）。
2025-07-02 11:24:13
751
原创 RK3588 DMA, RGA, 零拷贝API使用指北
本文详细介绍了在RK3588平台上通过DMA、RGA和零拷贝API实现视频流处理优化的完整方案。主要内容包括：1）DMA缓冲区的创建方法，可减少CPU数据拷贝开销；2）利用RGA进行图像格式转换、resize和letterbox等预处理操作，替代OpenCV节省CPU资源；3）零拷贝API的配置和使用流程，包括内存申请、数据设置和推理执行；
2025-07-15 13:57:11
966
原创 Vscode 下载远程服务器失败解决方法
后续需要用到，当然也可以通过点击 vscode 上方工具条的 Help 下的 About 获得自己的 vscode 的 commit_id。，此外如果要远程服务器是 x86 架构的，需要替换下述命令的 arm64 为 x86。然后重新打开vscode 进行远程连接，就可以继续“愉快”的码字之旅了！将两个文件传输到 .vscode-server 目录下，并执行如下命令。，将下述命令贴到浏览器即可（以上是 arm 架构版本）为自己的 vscode 的。
2025-07-11 15:46:49
402
原创 RK3588 火焰烟雾检测
基于 YOLOV6，在RK3588上实现的明火烟雾检测模型 演示视频如下：RK3588_fire_smoke_detect 训练数据集20500张，其中真实数据集约15000张，合成烟雾数据集约5000张，数据集均来源于网上搜集，并进行部分重新标定。点击进入数据集参考网址1点击进入数据集参考网址2点击进入YOLOV6源码地址 ，预训练模型及代码版本号选择：0.3.0Note: 注意训练适配 rknn 的模型时，不要开启 --fuse_ab1.1.2 测试训练后的模型效果1.
2025-06-06 14:25:13
856
原创 重生之我和RV1126 RKMedia的恩怨情仇三——万法归宗篇
以下内容抽象于官方SDK，实际进行小型项目开发时，直接按照官方SDK进行调用即可，无需劳心费神进行抽象，抽象是为了进行大型项目开发时方便管理和复用。提供相应头文件的实现，并演示如何将各个管道串联，实现从VI 中获取数据，对得到的数据进行保存，并使用 VO 推流等一系列操纵。同时集成了UVC相关内容，支持将数据以UVC的格式传递给另一台设备处理。将代码完全粘贴一方面是记录，算备份之一，另一方面，给有这方便的朋友提供一个
2025-05-28 10:52:02
295
原创 SS928V100（Hi3403V100）----NNN推理引擎，AMCT-ONNX模型压缩量化踩坑记录（LINUX版）
上篇文章讲解了如何使用 ATC 工具将 ONNX / CAFFE 模型转换为能在 NNN 引擎和 SVP_NNN 引擎上推理用的 om 模型，其中 SVP_NNN 由于只支持 INT8 / INT16 类型，所以在模型转换时通过设置参数的方式直接可以完成浮点模型 ONNX / CAFFE 到 INT8 / INT16 om 模型的流程。但是如是要在 NNN 引擎上运行量化模型，就需要借助 AMCT 模型压缩量化工具了，本文以 AMCT-ONNX 进行讲解。
2025-05-22 10:19:25
1170
原创 SS928V100（Hi3403V100）----ATC模型转换工具----SVP_NNN 和 NNN 踩坑记录（LINUX版）
ATC 是海思芯片的模型转换工具，用于将开源框架网络模型（caffe，onnx，tensorflow）转化为 .om 格式并使用 AscendCL进行推理（因为笔者比较熟悉瑞芯微系列，分别类似于类似瑞芯微系列的RKNNToolkit工具， .rknn 模型，RKNNToolkitLite板端推理工具）。
2025-05-13 11:17:55
1262
3
原创 手搓ZLMediaKit实现拉流推流系列3（RK3588上YOLO系列拉流、MPP解码+编码、推流全流程）
前段时间比较忙，一直没有时间补充后续的内容。今天终于抽出空来，立马进入码字环节：手搓ZLMediaKit实现拉流推流系列在本篇也终于迎来了完结篇，在本篇文章中，你将看到以下一整套完整流程：使用ZLMediaKit拉流---MPP解码---Yolo模型进行推理---MPP编码并推流。
2025-05-08 10:46:27
768
原创 重生之我和RV1126 RKMedia的恩怨情仇二——不破不立篇
以下内容抽象于官方SDK，实际进行小型项目开发时，直接按照官方SDK进行调用即可，无需劳心费神进行抽象，抽象是为了进行大型项目开发时方便管理和复用。本文章提供抽象思路，如有不足，欢迎各位大佬指正。
2025-05-08 09:36:30
782
原创 重生之我和RV1126 RKMedia的恩怨情仇一
猛然发现上一次发博客还是半年前，当时相关的内容是ZLMediakit的。最近这段时间接了一个相当紧急的项目，是关于RV1126上使用RKMedia调用MIPI摄像头进行算法处理相关的。由于之前没接触过RV1126，更没接触过MIPI摄像头和MIPI屏幕。当万能的OPENCV失效时，我真是差点吐出一口老血。为此狂加了好一段时间的班，趁着项目完结有时间了，记录一下我和RV1126的恩怨情仇！（PS: 吐槽一句，虽然咱是不专业的CV算法工程师，可这天天和各种各样的摄像头打交道是怎么个事啊！！
2025-04-29 10:27:02
868
原创 Yolov8 Detect 在 RK3588上的推理实现
Yolov8 相较于 Yolov5最大的区别就是不再有之前的 objectness 分支，只有解耦的分类和bbox回归分支，如下图所示。YOLOv5 输出特征图尺度为 80x80、40x40 和 20x20 的三个特征图，将三个不同尺度的类别预测分支、bbox 预测分支和 obj 预测分支（对象置信度预测分支）进行拼接，并进行维度变换。
2024-11-08 15:10:19
1202
原创 Python RK3588 MPP 8路视频硬解码！全体目光向我看齐！
本文重写了官方demo、加入了Zlmediakit进行拉流并通过pybind11将代码封装成so库，现在，在python中直接通过import的方式，就能完成基础的拉流解码操作，目前支持8路拉流解码！！！
2024-09-26 16:50:17
3337
8
原创 RK3588上RTSP实时视频流违规内容检测
（1）在RK3588上使用ZLMediakit拉取RTSP流进行MPP硬解码，然后通过yolo分类模型以及OCR文字识别模型检测视频中的违规内容。出现违规内容后，将图片帧保存到本地，并记录日志。 （2）同时RK3588还负责编码推流的部分，将拉取到的流通过MPP进行硬编码，然后以RK3588本身为推流服务器，进行视频推流。检测到违规内容时，中断推流。
2024-08-15 17:20:48
1594
原创 RKNN C++ 实现YOLOV5 分类模型（简单点，码字的方式简单点～）
最近在做项目，用到了YOLOV5的分类模型，项目需求是将模型使用RKNN C++ API 接口实现。因为之前用C++实现过检测模型，刚开始便想当然的以为和YOLO的检测模型大差不差，甚至会更简单，就是因为这种心理踩了很多坑才实现项目需求。唉，怎么就没有人早点告诉我走弯路了呢？简单讲一下分类模型和检测模型的区别：（1）前处理方式不同，检测模型则是通过LetterBox的方式处理数据，而分类模型的前处理采用的是CenterCrop的方式。（2）归一化不同，检测模型归一化过程中均值是0，方差是255。
2024-07-18 09:59:34
1109
1
原创 手搓ZLMediakit实现推流拉流系列扩展（RKNN C++推理流程）
在使用 ZLMediaKit 并结合RK MPP解码模块后，相对得到的视频帧进行深度学习模型推理（本文以YOLO系列为主介绍），在推理之前，有必要先了解一下RKNN使用C++推理的流程。此外，为了方便之后项目的扩展，建议将RKNN推理库封装成一个类（仅供参考）。
2024-06-18 22:40:59
2104
2
原创 手搓ZLMediakit实现推流拉流系列2（Rockchip MPP编解码）
本文是在手搓ZLMediaKit实现拉流推流系列1（C++版）基础上调用了瑞芯微（Rockchip 系列）的MPP硬件编解码库，将经过ZLMediakit拉流得到的视频帧数据使用MPP解码库函数进行硬解码得到YUV数据格式后，再通过MPP编码库函数对视频帧数据进行编码后使用ZLMediakit推流给RTMP服务器。
2024-06-18 15:42:46
2752
3
原创 手搓ZLMediaKit实现拉流推流系列1（C++版）
ZLMediakit 作为一款强大且开源的流媒体服务框架，个人认为已经非常的成熟且使用。本篇文章作为手搓ZLMediaKit系列的入门版，旨在帮助和自己一样的小白玩家熟悉Zlmediakit从RTSP进行拉流并推流到RTMP服务器的一个过程。
2024-06-07 10:42:57
3532
4
原创 Ubuntu 编译pymnn遇到的问题及解决方案
定位到"_mnncengine.cpython-37m-aarch64-linux-gnu.so"的位置，比如我的是"/home/ubuntu/MNN-2.2.2/pymnn/pip_package/build/lib.linux-aarch64-3.7/_mnncengine.cpython-37m-aarch64-linux-gnu.so"本文仅记录本人在arm平台上安装pymnn时遇到的问题，仅供参考，并不涵盖编译过程中所有可能出现的问题。Arm上import MNN时，出现。
2023-08-11 14:49:27
488
1
原创 PNG、JPG如何转Dicom（dcm），那些年我踩过的坑（Python版）
Dicom作为医学影像的常见数据格式，是每个深耕于医疗AI的同学无法跳过的一个坑。虽然我只是一名扎根于算法部署方面的小白。但是也不可避免地接触到这类数据。这不，最近接到算法同学给出的算法，需要我自己找公开数据集进行测试。可是Dicom数据集并不常见（PS：测了1000张还嫌不够，大无语），因此只能将目光聚焦于PNG、JPG类型的数据集（直接用PNG、JPG训练的除外）。
2023-07-26 16:19:39
12285
8
原创 Ubuntu18.04 ONNXRuntime C++ API编译
最近在学习c++方面的部署应用，想着先拿熟悉的ONNX下手试试，却发现需要编译C++版本的ONNXRuntime。几经波折，在经历了一上午的编译后，终于成功了。写下这篇文章记录我的编译过程。
2023-07-12 15:02:23
1920
4
原创 Ubuntu使用apt update时出现：由于没有公钥，无法验证下列签名： NO_PUBKEY 42D5A192B819C5DA
在使用ubuntu进行下载或者编译时，经常会用到sudo apt update,奈何一直出现这个问题，导致无法进行下去，在网上找方法时，发现千篇一律都是让我去添加公钥。但是没有用！！！花里胡哨，不如直接干掉（删除），反正也没有影响。
2023-05-26 17:44:38
2295
6
原创 ONNX系列一：ONNX的使用,从转化到推理
onnx模型在算法岗位上属于接触到比较多的一款框架，随着接触到的框架越来越多，不免会产生一些遗忘。因此，写下这篇文章，记录下来学习onnx框架的一些心得体会。
2023-05-17 15:02:24
7500
8
原创 YOLOV5在MNN上的推理实现（Python版）
不得不吐槽一下，官方给的教程真的是混乱不堪，尤其是python版本的（当然也有可能是我技术不到家，看的比较费劲）。所以为了以后用到MNN框架进行推理时，不再去费力的看官方的文档，我从yolov5源码中抠出前后处理部分，并用MNN进行推理，具体代码如下。
2023-04-23 13:35:28
1854
2
原创 Ubuntu18.04上MNN编译与使用（Python版）
简单介绍一下：MNN（Mobile Neural Network）是一个轻量级的深度神经网络推理引擎，在端侧加载深度神经网络模型进行推理预测。欢迎使用MNN文档 — MNN-Doc 2.1.1 documentation。
2023-04-23 11:00:39
1953
3
原创 Yolov5在ONNXRuntime上的推理实现
这段时间部署Yolov5系列模型，想着先使用ONNXRuntime运行一下转换后的onnx模型，但是看着官方给出的detect.py，我陷入了沉思。我是真的不想抠代码！于是乎，秉承着程序猿的优良传统，我打开了百度。结果可想而知，不然你也不会看到我的文章了。草草看了一下，大部分是就给出一部分代码，然后告诉你后处理的部分源码里都有............拜托，我就是不想抠源代码才来百度的啊，哎，还是要靠自己抠代码啊。
2023-04-03 17:46:18
5073
8
原创 Paddle Lite在ARM上的应用，以Yolov5为例
Paddle Lite 是一种轻量级、灵活性强、易于扩展的高性能的深度学习预测框架，它可以支持诸如 ARM、OpenCL 、NPU 等等多种终端，同时拥有强大的图优化及预测加速能力。
2023-01-05 16:06:16
2365
1
原创 Ubuntu18.04 安装py-fast-rcnn步骤
因工作需要，在跑模型的时候，需要使用到caffe，网上关于ubuntu18.04安装caffe的步骤各式各样，在经历过三天安装卸载的绝望中，终于编译完成，记录这三天中遇到的坑以及安装步骤，方便后续有需要时查看。
2022-11-27 19:52:28
747
1
docker入门教程，从安装到使用
2024-06-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人