LLM - 使用 SGLang 部署 Qwen3-32B 与 Qwen2.5-VL-32B (1)

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/150422211

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

SGLang，即 Structured Generation Language for LLMs，用于大语言模型的结构化生成语言，是 Stanford & Berkeley 团队推出的大模型推理引擎，优势是高吞吐 + 可编程。与 vLLM 相比，SGLang 在以下场景表现更优，即：

1. 多轮对话吞吐提升最高 5 倍：SGLang 的核心创新 RadixAttention 用 Radix 树把 KV 缓存的前缀做全局复用，结合 LRU 策略，让同一对话历史的 KV 缓存不再反复生成，在 Llama-7B 多轮对话测试中，吞吐量比 vLLM 高出 5 倍。
2. 复杂控制流原生支持：vLLM 的推理流程相对静态，复杂逻辑要靠 Prompt 模板；而 SGLang 提供嵌入式 Python DSL (Domain Structur