OAID/Tengine模型转换工具使用指南

OAID/Tengine模型转换工具使用指南

Tengine Tengine is a lite, high performance, modular inference engine for embedded device 项目地址: https://gitcode.com/gh_mirrors/ten/Tengine

模型转换工具概述

在深度学习领域，不同框架训练的模型往往需要转换为统一的格式才能在推理引擎上运行。OAID/Tengine项目提供的模型转换工具(tm_convert_tool)正是为了解决这一问题而设计。该工具能够将多种主流深度学习框架训练的模型转换为Tengine专用的tmfile格式，实现跨框架的模型部署。

支持的框架类型

当前版本支持转换以下深度学习框架的模型：

1. 传统框架支持：

   • Caffe
   • MXNet
   • TensorFlow
   • TFLite
   • Darknet

2. 新兴框架支持：

   • PyTorch(通过ONNX格式)
   • MegEngine
   • OneFlow
   • PaddlePaddle 2.0

3. 边缘计算框架支持：

   • ncnn

环境准备

依赖库安装

在Ubuntu系统上，需要先安装Protocol Buffers相关依赖：

sudo apt install libprotobuf-dev protobuf-compiler

工具编译

按照以下步骤从源码编译转换工具：

mkdir build && cd build
cmake ..
make -j`nproc` && make install

编译完成后，会在./build/install/bin/目录下生成可执行文件tm_convert_tool。

工具使用详解

基本命令格式

转换工具的基本命令格式如下：

./tm_convert_tool -f <框架类型> -p <模型结构文件> -m <模型参数文件> -o <输出文件>

各参数说明：

• -f: 指定输入模型的框架类型
• -p: 指定模型结构文件(部分框架需要)
• -m: 指定模型参数文件
• -o: 指定输出的tmfile路径

各框架转换示例

1. Caffe模型转换

./tm_convert_tool -f caffe -p mobilenet.prototxt -m mobilenet.caffemodel -o mobilenet.tmfile

2. MXNet模型转换

./tm_convert_tool -f mxnet -p mobilenet.json -m mobilene.params -o mobileent.tmfile

3. ONNX模型转换(PyTorch等)

./tm_convert_tool -f onnx -m mobilenet.onnx -o mobilenet.tmfile

4. TensorFlow模型转换

./tm_convert_tool -f tensorflow -m mobielenet_v1_1.0_224_frozen.pb -o mobilenet.tmfile

5. TFLite模型转换

./tm_convert_tool -f tflite -m mobielenet.tflite -o mobilenet.tmfile

6. Darknet模型转换

./tm_convert_tool -f darknet -p yolov3.cfg -m yolov3.weights -o yolov3.tmfile

7. MegEngine模型转换

./tm_convert_tool -f megengine -m mobilenet.pkl -o mobilenet.tmfile

8. OneFlow模型转换

./tm_convert_tool -f oneflow -p mobilenet.prototxt -m mobilenet/ -o mobilenet.tmfile

9. ncnn模型转换

./tm_convert_tool -f ncnn -p mobilenet.param -m mobilenet.bin -o mobilenet.tmfile

转换注意事项

1. 模型兼容性：虽然转换工具支持多种框架，但某些特殊算子可能不被Tengine支持，转换时需注意警告信息。

2. 文件路径：确保提供的模型文件路径正确，特别是相对路径和绝对路径的使用。

3. 版本匹配：不同框架版本的模型可能有差异，建议使用较新的稳定版本。

4. 输出验证：转换完成后，建议使用Tengine的模型验证工具检查转换结果。

常见问题解决

1. 依赖缺失错误：如果编译时报错，请检查protobuf相关依赖是否安装正确。

2. 模型转换失败：检查输入模型是否完整，特别是需要同时提供结构文件和参数文件的框架。

3. 算子不支持：遇到不支持的算子时，工具会给出明确提示，可考虑修改模型结构或联系开发团队。

通过本工具，开发者可以轻松地将各种框架训练的模型转换为Tengine支持的格式，实现高效的边缘计算部署。

Tengine Tengine is a lite, high performance, modular inference engine for embedded device 项目地址: https://gitcode.com/gh_mirrors/ten/Tengine