c++ 使用onnx推理

qq_1925620345

已于 2022-11-25 15:36:55 修改

阅读量1.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： c++ 文章标签： c++ 开发语言

于 2022-11-25 15:06:35 首次发布

本文链接：https://blog.csdn.net/qq_33619359/article/details/128037173

本文介绍了如何在C++中使用ONNX进行图像分类推理，输入为处理过的MAT图像，输出为一维向量。此外，还展示了将输入从MAT转换为一维向量的技巧，特别地，处理了输入为176448的热图，输出为25200*7矩阵的情况，强调了设置输入输出维度的关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

假设你已经安装好onnx，并且成功配置。这章说的是加载onnx并推理的过程，输入的input已经是处理过后的。
下面举几个例子

图像分类推理

最常见的形式就是图像分类网络，输入是个图片mat(3x224x224)，输出是个一维(1x7)向量。

int yolov5_onnx_model(Mat blob)
{
   
   
#ifdef _WIN32
const wchar_t* model_path = L"E://c++//mmpose//resnet18.onnx";
#else
const char* model_path = "E://c++//mmpose//resnet18.onnx";
#endif

	//environment （设置为VERBOSE（ORT_LOGGING_LEVEL_VERBOSE）时，方便控制台输出时看到是使用了cpu还是gpu执行）
	Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "OnnxModel");
	Ort::SessionOptions session_options;
	// 使用1个线程执行op,若想提升速度，增加线程数
	session_options.SetIntraOpNumThreads(1);
	//CUDA加速开启(由于onnxruntime的版本太高，无cuda_provider_factory.h的头文件，加速可以使用onnxruntime V1.8的版本)
		//OrtSessionOptionsAppendExecutionProvider_CUDA(session_options, 0);
		// ORT_ENABLE_ALL: 启用所有可能的优化
	session_options.SetGraphOptimizationLevel(GraphOptimizationLevel::ORT_ENABLE_ALL);

	//load  model and creat session


	//printf("Using Onnxruntime C++ API\n");
	Ort::Session session(env, model_path, session_options);
	// print model input layer (node names, types, shape etc.)
	Ort::AllocatorWithDefaultOptions allocator;


	//model info
	// 获得模型又多少个输入和输出，一般是指对应网络层的数目
	// 一般输入只有图像的话input_nodes为1
	size_t num_input_nodes = session.GetInputCount();
	// 如果是多输出网络，就会是对应输出的数目
	size_t num_output_nodes = session.GetOutputCount();
	//printf("Number of inputs = %zu\n", num_input_nodes);
	//printf("Number of output = %zu\n", num_output_nodes);
	//获取输入name
	const char* input_name = session.GetInputName(0, allocator);
	//std::cout << "input_name:" << input_name << std::endl;
	//获取输出name
	const char* output_name = session.GetOutputName(0, allocator);
	//std::cout << "output_name: " << output_name << std::endl;
	// 自动获取维度数量
	auto input_dims = session.GetInputTypeInfo(0).GetTensorTypeAndShapeInfo()