linux版：tensorrt

### 在 Linux 平台上安装和使用 TensorRT #### 1. 准备工作 在开始安装之前，需要确认系统满足基本要求。通常情况下，TensorRT 的运行依赖于 CUDA 和 cuDNN 庉[^1]。因此，在安装前需确保已正确安装这些组件。 #### 2. 安装过程 以下是基于不同方式的 TensorRT 安装流程： ##### 方法一：通过预构建二进制包安装 此方法适用于希望快速部署而无需自行编译的情况。 - **下载安装包** 访问官方资源链接获取适合版本的 TensorRT 压缩包[^3]。 - **解压并配置** 使用命令完成解压操作并将必要的库文件复制至指定位置： ```bash tar -xzvf TensorRT-7.2.3.4.Linux.x86_64-gnu.cuda-10.2.cudnn8.0.tar.gz cd /usr/local/TensorRT-7.2.3.4/ sudo cp -r ./lib/* /usr/lib sudo cp -r ./include/* /usr/include ``` ##### 方法二：源码编译安装 对于有特殊需求或者定制化场景下的用户来说，可以选择从源码进行编译安装。 - **设置环境变量** 编辑 `~/.bashrc` 文件加入以下内容以便加载所需路径： ```bash export TENSORRT_DIR=/path/to/tensortrt/installation export LD_LIBRARY_PATH=$TENSORRT_DIR/lib:$LD_LIBRARY_PATH source ~/.bashrc ``` - **Python支持模块安装** 如果计划利用 Python 接口调用 TensorRT 功能，则还需额外处理 pip 包管理器中的相关内容: ```bash pip install nvidia-pyindex pip install tensorrt ``` #### 3. 验证安装成功与否 执行简单的测试脚本来验证整个框架能否正常运作是非常重要的一步。下面给出了一段基础示例代码用于展示如何初始化引擎实例以及加载序列化的模型数据结构[^2]: ```python import tensorrt as trt def build_engine(onnx_file_path, engine_file_path=""): TRT_LOGGER = trt.Logger(trt.Logger.WARNING) with trt.Builder(TRT_LOGGER) as builder, \ builder.create_network(1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH)) as network,\ trt.OnnxParser(network, TRT_LOGGER) as parser: config = builder.create_builder_config() config.max_workspace_size = 1 << 30 with open(onnx_file_path, 'rb') as model: if not parser.parse(model.read()): print('Failed to parse the ONNX file.') for error in range(parser.num_errors): print(parser.get_error(error)) return None engine = builder.build_serialized_network(network,config) if engine is not None and engine_file_path != "": with open(engine_file_path,"wb")as f: f.write(engine) build_engine("/path/to/model.onnx","/path/to/output.engine") ```