TensorRT Triton Inference Server: 版本 error魔术标记不匹配， NGC使用

最新推荐文章于 2024-10-16 10:43:44 发布

FakeOccupational

最新推荐文章于 2024-10-16 10:43:44 发布

阅读量4.6k

点赞数 1

分类专栏：深度学习文章标签： python

版权

175 篇文章

订阅专栏

文章描述了一个在使用TensorRT进行推理时遇到的魔术标记匹配错误，原因是转换和推理的镜像TRT版本不同，分别是8.6.0和8.5.3。解决方案是重建与当前环境兼容的镜像，确保所有组件版本一致，特别是TensorRT库的版本。提供了NGC容器镜像的官方链接来查找正确的版本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原因：
转换和推理使用的镜像的标签是相同的，但是转换的镜像中pip list得到trt版本为8.6.0，但是推理环境中 root@f2c810ba3976:/# /usr/src/tensorrt/bin/trtexec ，得到trtexec版本为8.5.3
解决
可在官方文档中寻找正确版本的镜像地址https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver/tags
版本说名如下
https://docs.nvidia.com/deeplearning/triton-inference-server/release-notes/rel-23-04.html#rel-23-04
小版本不一致
The engine plan file is not compatible with this version of TensorRT, expecting library version 8.6.1.2 got 8.6.0.12, please rebuild.
解决： rebuild

https://catalog.ngc.nvidia.com/orgs/nvidia/containers/pytorch/tags
sudo docker run -it --shm-size 8gb --rm --gpus=all -p 8603:8000 -v ${PWD}:/test nvcr.io/nvidia/pytorch:23.05-py3 bash