在 Python 和 C++ 环境下安装和使用 ONNX Runtime

GPU 依赖项

对于 GPU 版本的 ONNX Runtime，需要安装 CUDA 和 cuDNN。请检查 CUDA 执行提供程序的要求以获取兼容版本的 CUDA 和 cuDNN。安装时请注意：

• cuDNN 需要 ZLib，安装方法请参照 cuDNN 安装指南。
• CUDA 和 cuDNN 的 bin 目录路径需要添加到环境变量 PATH 中。

《这部分可以去B站有很多教学视频讲的更详细》

Python 环境安装

安装 ONNX Runtime CPU 版本

要在 Python 环境中安装 ONNX Runtime 的 CPU 版本，可以使用以下命令：

pip install onnxruntime

安装 ONNX Runtime GPU 版本 (CUDA )

pip install onnxruntime-gpu

验证Python 示例

以下是一个简单的 Python 示例，用于加载和运行 ONNX 模型：

import onnxruntime as ort

# 加载 ONNX 模型
session = ort.InferenceSession("model.onnx")

# 准备输入数据
input_name = session.get_inputs()[0].name
input_data = ...  # 根据模型要求准备输入数据

# 运行推理
result = session.run(None, {input_name: input_data})

# 输出结果
print(result)

C++ 环境安装

安装 ONNX Runtime CPU 版本

在 C++ 环境中安装 ONNX Runtime 的 C