Model Analyzer encountered an error: Failed to set the value for field “triton_server_path“

原创于 2023-08-30 15:30:23 发布 · 317 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#tirtonserver

triton-inference-server服务部署专栏收录该内容

9 篇文章

订阅专栏

文章讲述了在基于nvcr.io/nvidia/tritonserver镜像的容器中，使用model-analyzer配置模型时遇到的错误，解决方法是创建一个可执行的tritonserver文件并指定正确的执行路径和参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原因

基于nvcr.io/nvidia/tritonserver:21.10-py3-sdk镜像运行的容器，想使用model-analyzer来找到配置tritonserver的最佳参数，执行下面命令的时候报错

model-analyzer profile --model-repository /models --profile-models clip-VIT-B

解决办法

我们只需要在容器中创建一个可执行的tritonserver文件就行，命令如下

touch /opt/tritonserver
chmod +x /opt/tritonserver
model-analyzer profile -m /models --profile-models clip-VIT-B --triton-launch-mode=docker --output-model-repository=/home/outputmodel/output --triton-server-path=/opt/tritonserver