【ai】trition：tritonclient.utils.shared_memory 仅支持linux

### 关于Triton 2.0.0的技术信息 NVIDIA Triton 是一种用于部署机器学习模型的服务平台，支持多种框架和推理优化功能。对于具体版本的信息，通常可以在官方文档或发布说明中找到详细的更新日志和技术细节。 以下是有关 **Triton Inference Server 2.0.0** 的一些关键技术和资源： #### 版本特性概述 Triton Inference Server 2.0.0 提供了多项增强功能和支持新特性的能力[^1]。其中包括但不限于以下几点： - 支持 TensorFlow 和 PyTorch 模型的动态批处理。 - 增强了多 GPU 部署的支持。 - 添加了对 ONNX Runtime 的更广泛兼容性。 - 对性能进行了显著改进，特别是在高并发场景下表现优异。 #### 官方文档与Release Notes 为了获取完整的变更记录以及新增的功能列表，可以访问 NVIDIA 官方发布的文档页面。这些文档不仅提供了详细的 API 参考手册，还包含了安装指南、配置选项以及其他最佳实践建议。 如果需要查看具体的 `release notes` 或者了解升级过程中需要注意的地方，则应该查阅对应版本的具体公告链接或者下载 PDF 格式的完整说明书作为参考资料。 #### 示例代码片段展示如何加载并运行一个简单的模型服务端口设置过程如下所示: ```python from tritonclient.utils import * import tritonclient.http as httpclient triton_client = httpclient.InferenceServerClient(url="localhost:8000") model_name = "simple" inputs = [] outputs = [] input_data = np.array([[1]], dtype=np.int32) inputs.append(httpclient.InferInput('INPUT', input_data.shape, np_to_triton_dtype(input_data.dtype))) inputs[-1].set_data_from_numpy(input_data) output_data = outputs.append(httpclient.InferRequestedOutput('OUTPUT')) response = triton_client.infer(model_name=model_name, inputs=inputs, outputs=outputs) result = response.as_numpy('OUTPUT') print(result) ``` 此段脚本展示了通过 HTTP 协议调用远程服务器上的预定义模型接口的方法，并打印返回的结果数组值。 ---