仪酷LabVIEW OD实战(2)——Object Detection VI函数详细介绍

‍‍🏡博客主页： virobotics(仪酷智能)：LabVIEW深度学习、人工智能博主
🎄所属专栏：『LabVIEW深度学习工具包』『仪酷LabVIEW目标检测工具包实战』
📑上期文章：『仪酷LabVIEW OD实战(1)——目标检测Object Detection工具包的安装』
🍻本文由virobotics(仪酷智能)原创首发

🥳欢迎大家关注✌点赞👍收藏⭐留言📝订阅专栏

文章目录

一、前言
二、环境搭建
- 2.1 部署本项目时所用环境
三、Object_Detection VI函数
四、工具包获取方式
总结

一、前言

Hello，大家好，我是virobotics（仪酷智能），一个深耕于LabVIEW和人工智能领域的开发工程师。

上一节给大家介绍了仪酷Object Detection工具包的安装，这节我们来看看这个工具包可以帮助我们快速搭建我们的范例的VI具体有哪些，以及具体VI的参数是什么？

二、环境搭建

2.1 部署本项目时所用环境

操作系统：Windows系统
LabVIEW：2018及以上 64位版本
VIPM ：2021及以上版本
AI视觉工具包（techforce_lib_opencv_cpu）：1.0.1.16及以上版本
加速工具包（ONNX、OpenVINO、TensorRT）的至少其中一个
1、ONNX工具包：virobotics_lib_onnx_cpu-1.13.1.8及以上版本或virobotics_lib_onnx_cuda_tensorrt-1.13.1.15及以上版本
2、OpenVINO工具包（virobotics_lib_openvino）：1.0.0.20及以上版本
3、TensorRT工具包（virobotics_lib_tensorrt）：1.0.0.36及以上版本
仪酷Object Detection工具包：https://blog.csdn.net/virobotics/article/details/132529219

三、Object_Detection VI函数

该插件一共六个vi函数，可帮助用户快速搭建自己的目标检测应用，具体vi介绍如下：
在这里插入图片描述

IntialModel_Onnx.vi：多态VI，使用onnxruntime推理引擎加载onnx模型并实现初始化。用户可以在该多态vi下拉菜单中选择需要初始化的模型；

具体参数含义：

device_id：设备号，可选0、1、2、3等，数字为GPU索引，默认为0；
type: 推理加速类型，可选CPU、CUDA、TensorRT，默认为CPU
path：模型路径，默认为空
class_names_path：对象类别名称文件路径，默认为空
error in：描述在此VI或函数运行之前发生的错误条件。默认值是没有错误的。
use_letterbox：用于控制输入图像的缩放和填充方式，默认为True。当 use_letterbox 设置为 True 时，在推理过程中，输入图像将被缩放到固定的尺寸，并在保持图像纵横比的同时进行填充。这通常用于处理输入图像尺寸与模型期望输入尺寸不一致的情况。通过应用 letterbox 缩放和填充，可以确保输入图像的纵横比不变，避免图像形状的扭曲。当 use_letterbox 设置为 False 时，输入图像将根据模型的输入要求进行缩放，但不进行填充。这可能会导致输入图像的纵横比发生变化，但可以更准确地反映原始图像的内容。
swap rb：如果图像为三通道图片，是否交换Red通道和Blue通道。默认为True。swap rb设置为True，则将读取到的图片的Red通道和Blue通道交换，YOLO模型是在RGB图像上进行推理的。
yolox_onnx_out：用ONNX工具包推理yolovx的类(x可以为5/6/7/8)
error out：包含错误信息。如果中的错误指示在此VI或函数运行之前发生了错误，则错误输出包含相同的错误信息。

IntialModel_OpenVINO.vi：多态VI，使用OpenVINO推理引擎加载onnx模型并实现初始化。用户可以在该多态vi下拉菜单中选择需要初始化的模型；

具体参数含义：

device_name：设备名，推理加速类型，可选CPU、GPU，默认为CPU；
path：模型路径，默认为空
class_names_path：对象类别名称文件路径，默认为空
error in：描述在此VI或函数运行之前发生的错误条件。默认值是没有错误的。
use_letterbox：用于控制输入图像的缩放和填充方式，默认为True。当 use_letterbox 设置为 True 时，在推理过程中，输入图像将被缩放到固定的尺寸，并在保持图像纵横比的同时进行填充。这通常用于处理输入图像尺寸与模型期望输入尺寸不一致的情况。通过应用 letterbox 缩放和填充，可以确保输入图像的纵横比不变，避免图像形状的扭曲。当 use_letterbox 设置为 False 时，输入图像将根据模型的输入要求进行缩放，但不进行填充。这可能会导致输入图像的纵横比发生变化，但可以更准确地反映原始图像的内容。
swap rb：如果图像为三通道图片，是否交换Red通道和Blue通道。默认为True。swap rb设置为True，则将读取到的图片的Red通道和Blue通道交换，YOLO模型是在RGB图像上进行推理的。
yolox_openvino_out：用OpenVINO工具包推理yolovx的类(x可以为5/6/7/8)
error out：包含错误信息。如果中的错误指示在此VI或函数运行之前发生了错误，则错误输出包含相同的错误信息。

IntialModel_TensorRT.vi：多态VI，使用OpenVINO推理引擎加载onnx模型并实现初始化。用户可以在该多态vi下拉菜单中选择需要初始化的模型；

具体参数含义：

config：包含多个需要配置的元素信息，具体含义如下
device_id：设备号，可选0、1、2、3等，数字为GPU索引，默认为0；
path：engine模型路径，默认为空
class_names_path：对象类别名称文件路径，默认为空
error in：描述在此VI或函数运行之前发生的错误条件。默认值是没有错误的。
use_letterbox：用于控制输入图像的缩放和填充方式，默认为True。当 use_letterbox 设置为 True 时，在推理过程中，输入图像将被缩放到固定的尺寸，并在保持图像纵横比的同时进行填充。这通常用于处理输入图像尺寸与模型期望输入尺寸不一致的情况。通过应用 letterbox 缩放和填充，可以确保输入图像的纵横比不变，避免图像形状的扭曲。当 use_letterbox 设置为 False 时，输入图像将根据模型的输入要求进行缩放，但不进行填充。这可能会导致输入图像的纵横比发生变化，但可以更准确地反映原始图像的内容。
swap rb：如果图像为三通道图片，是否交换Red通道和Blue通道。默认为True。swap rb设置为True，则将读取到的图片的Red通道和Blue通道交换，YOLO模型是在RGB图像上进行推理的。
yolox_tensorRT_out：用TensorRT工具包推理yolovx的类(x可以为5/6/7/8)
error out：包含错误信息。如果中的错误指示在此VI或函数运行之前发生了错误，则错误输出包含相同的错误信息。

Detect_1_Batch：使用opencv数据类型图像作为输入，进行模型的预处理和后处理，实现推理，具体参数含义：

nms_threshold：NMS阈值，用于控制重叠边界框的合并条件，当两个边界框的重叠程度（通常使用IOU，即交并比）超过NMS阈值时，将被视为重叠边界框，并根据一定的规则选择其中一个作为最终的检测结果。较高的NMS阈值会保留更多的检测结果，但可能导致重叠边界框较多。较低的NMS阈值可以更严格地抑制重叠边界框，但可能会导致某些真实目标被错误地丢弃。通常情况下，NMS阈值的取值范围在0到1之间，常见的取值为0.5或0.6。默认为0.5
confThreshold：置信度阈值，置信度是一个介于0到1之间的概率值，表示模型对边界框所包含目标的置信程度。当某个边界框的置信度大于或等于置信度阈值时，该边界框被认为是有效的检测结果；当置信度小于阈值时，该边界框则被丢弃。通过调整confThreshold的值，可以控制模型对检测结果的准确性和召回率。较高的置信度阈值会提高准确性，但可能会导致一些真实目标被错误地丢弃；较低的置信度阈值则会增加召回率，但可能会引入一些误检测。默认为0.3
Object_Detection_Utils in：用于推理的类输入
image：OpenCV数据类型格式图像，是一个Mat
error in：描述在此VI或函数运行之前发生的错误条件。默认值是没有错误的。
fontscale：字体缩放因子，用于调整文本或字体的大小比例，一个浮点数值，表示相对于原始字体大小的缩放比例。具体而言，当fontscale的值大于1时，文本将变大；当fontscale的值小于1时，文本将变小。默认为0.5。
Object_Detection_Utils out：用于推理的类输出，用于后续函数的输入
results：目标检测结果，包括目标检测框坐标，置信度以及目标检测结果
img out：带有检测结果的图像Mat索引，用于后续函数的输入
error out：包含错误信息。如果中的错误指示在此VI或函数运行之前发生了错误，则错误输出包含相同的错误信息。

Detect_1_Batch_nivison：使用NI Image数据类型图像作为输入，进行模型的预处理和后处理，实现推理，具体参数含义：

nms_threshold：NMS阈值，用于控制重叠边界框的合并条件，当两个边界框的重叠程度（通常使用IOU，即交并比）超过NMS阈值时，将被视为重叠边界框，并根据一定的规则选择其中一个作为最终的检测结果。较高的NMS阈值会保留更多的检测结果，但可能导致重叠边界框较多。较低的NMS阈值可以更严格地抑制重叠边界框，但可能会导致某些真实目标被错误地丢弃。通常情况下，NMS阈值的取值范围在0到1之间，常见的取值为0.5或0.6。默认为0.5
confThreshold：置信度阈值，置信度是一个介于0到1之间的概率值，表示模型对边界框所包含目标的置信程度。当某个边界框的置信度大于或等于置信度阈值时，该边界框被认为是有效的检测结果；当置信度小于阈值时，该边界框则被丢弃。通过调整confThreshold的值，可以控制模型对检测结果的准确性和召回率。较高的置信度阈值会提高准确性，但可能会导致一些真实目标被错误地丢弃；较低的置信度阈值则会增加召回率，但可能会引入一些误检测。默认为0.3
Object_Detection_Utils in：用于推理的类输入
Image：NI Image控件的数据类型图像的引用
error in：描述在此VI或函数运行之前发生的错误条件。默认值是没有错误的。
fontscale：字体缩放因子，用于调整文本或字体的大小比例，一个浮点数值，表示相对于原始字体大小的缩放比例。具体而言，当fontscale的值大于1时，文本将变大；当fontscale的值小于1时，文本将变小。默认为0.5。
Object_Detection_Utils out：用于推理的类输出
results：目标检测结果，包括目标检测框坐标，置信度以及目标检测结果
Image out：经过处理之后的图像的引用输出
error out：包含错误信息。如果中的错误指示在此VI或函数运行之前发生了错误，则错误输出包含相同的错误信息。