TensorRT之createInferBuilder

Auto_Car6

已于 2023-12-15 13:37:13 修改

阅读量933

点赞数 8

分类专栏： TensorRT 文章标签：人工智能 TensorRT cuda

于 2023-12-15 13:35:49 首次发布

本文链接：https://blog.csdn.net/mls805379973/article/details/135015059

版权

TensorRT 专栏收录该内容

2 篇文章

订阅专栏

在 NVIDIA TensorRT 中，createInferBuilder() 是用于创建 IBuilder 对象的函数。TensorRT 是一个用于高性能深度学习推理的库，支持在 NVIDIA GPU 上进行加速。

以下是 createInferBuilder() 函数的一般用法：

#include <NvInfer.h>

// 创建 TensorRT 推理构建器
nvinfer1::IBuilder* builder = nvinfer1::createInferBuilder(logger);

其中：

nvinfer1::IBuilder 是 TensorRT 中的推理构建器接口，用于构建和配置推理引擎。
logger 是一个用于记录 TensorRT 操作和错误的日志接口，通常通过 createInferLogger() 函数创建。

具体而言，createInferBuilder() 函数的作用是创建一个用于构建 TensorRT 推理引擎的构建器对象。使用这个构建器对象，你可以配置模型的优化选项、精度、批大小等参数，然后构建一个推理引擎，该引擎可以在 NVIDIA GPU 上进行加速推理。

以下是一个更完整的示例，包括创建 Logger 和设置构建器的一些选项：

#include <NvInfer.h>

// 创建 TensorRT 日志记录器
nvinfer1::ILogger* logger = nvinfer1::createInferLogger(nvinfer1::ILogger::Severity::kINFO);

// 创建 TensorRT 推理构建器
nvinfer1::IBuilder* builder = nvinfer1::createInferBuilder(*logger);

// 设置构建器的一些选项，如精度、最大批大小等
builder->setFp16Mode(true);
builder->setMaxBatchSize(32);

// 在使用完毕后，记得释放资源
builder->destroy();
logger->destroy();