NVIDIA Triton系列02-功能与架构简介

NVIDIA Triton系列02-功能与架构简介

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-CSDN博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

前面文章介绍微软 Teams 会议系统、微信软件与腾讯 PCG 服务三个 Triton 推理服务器的成功案例，让大家对 Triton 有初步的认知，但别误以为这个软件只适合在大型的服务类应用中使用，事实上 Triton 能适用于更广泛的推理环节中，并且在越复杂的应用环境中就越能展现其执行成效。

在说明 Triton 推理服务器的架构与功能之前，我们需要先了解一个推理服务器所需要面对并解决的问题。

与大部分的服务器软件所需要的基本功能类似，一个推理服务器也得接受来自不同用户端所提出的各种要求（request）然后做出回应（response），并且对系统的处理进行性能优化与稳定性管理。

但是推理计算需要面对深度学习领域的各式各样推理模型，包括图像分类、物件检测、语义分析、语音识别等不同应用类别，每种类别还有不同神经网络算法与不同框架所训练出来的模型格式等。此外，我们不能对任务进行单纯的串行队列（queue）方式处理࿰