TensorRT推理、NCNN推理、TVM推理、openvino推理

最新推荐文章于 2024-10-08 14:42:13 发布

qq-1590644938

最新推荐文章于 2024-10-08 14:42:13 发布

阅读量584

点赞数

CC 4.0 BY-SA版权

文章标签： c++ 算法 java

本文链接：https://blog.csdn.net/pilykuang/article/details/129908408

该文展示了使用TensorRT、NCNN、TVM和OpenVINO四个不同的框架进行深度学习推理的示例代码。每个框架中，都包括了加载模型、创建执行上下文、准备输入输出数据及运行推理的过程。这些框架旨在优化模型在GPU或其他硬件上的性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TensorRT推理

#include <iostream>
#include "NvInfer.h"
#include "NvOnnxParser.h"
#include "NvInferPlugin.h"

using namespace nvinfer1;
using namespace std;

int main(int argc, char** argv)
{
// create TensorRT inference engine
IBuilder* builder = createInferBuilder(gLogger);
INetworkDefinition* network = builder->createNetwork();

// create ONNX parser
IParser* parser = createParser(*network, gLogger);
parser->parseFromFile("model.onnx", -1);

// build TensorRT engine
builder->setMaxBatchSize(1);
builder->setMaxWorkspaceSize(1 << 30);
ICudaEngine* engine = builder->buildCudaEngine(*network);

// create execution context
IExecutionContext* context = engine->createExecutionContext();

// create input and output buffers
float* input = new float[3 * 224 * 224];
float* output = new float[1000];

// run inference
context->execute(1, { { 0, input } }, { { 0, output } });

// print results
for (int i = 0; i < 1000; i++)
{
&nbs