LLM推理引擎性能评测对比：vllm、lmdeploy、tensorrt-llm

最新推荐文章于 2025-05-09 10:44:47 发布
最新推荐文章于 2025-05-09 10:44:47 发布
阅读量1.2w 收藏 37
点赞数 55
分类专栏： 大模型部署 文章标签： 自然语言处理 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stephen147/article/details/140033537
版权

01

简介

在当今LLM时代，大模型的效果已经取得了长足的进步，逐渐成为业务流程中的重要部分，因此对性能进行评估变得至关重要，由于目前LLM推理都需要比较高级的GPU，使得LLM推理成本高，因此在不同使用场景下优化推理就很有必要。对于提供公共推理服务，比如openai等来说，提高吞吐率优先级比较高，而在一些专用的业务场景，则对首包延迟和整体请求延迟有着较高要求。

目前业界已经开发了各种各样的LLM推理引擎，如VLLM，LLMDeploy，huggingface(text-generation-inference), DeepSpeed-Inference，以及大量的商业化API，本文介绍LLM性能主要指标，进行性能压测，并通过wandb进行压测结果对比。

02

LLM推理关键指标以及影响

  • Throughput

总的吞吐（output tokens/seconds），对于LLM Serving重要，可以提高总的服务能力。

  • Time to First Token(TTFT)

在prefill阶段后返回的第一个token的时间，在stream输出模式下，对体验影响大，越小用户等待返回第一个token时间越小，体验越好。

  • Time per output token

生成每个token的时间，影响体验

  • Latency

处理完整请求用时。

  • QPS

每秒处理完成的请求数。

03

性能测试工具

为了支持各种服务API以及开源LLM推理性能，评估是否满足生产需求，我们提供一套简单可扩展的工具，支持LLM各项指标，详细可以参考eval-scope项目中的性能perf工具说明： https://github.com/modelscope/eval-scope/tree/main/llmuses/perf

04

环境信息

测试机器(A100 80G)

最低0.47元/天 解锁文章
大模型推理加速调研（框架、方法）
qq_33287871的博客
01-05 885
大模型推理加速的目标是高吞吐量、低延迟。吞吐量为一个系统可以并行处理的任务量。延时，指一个系统串行处理一个任务时所花费的时间。调研了一些大模型推理的框架。近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，为了将大模型部署在端侧设备中，我们需要使用一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。量化（Quantization）剪枝（Pruning）知识蒸馏（Knowledge Distillation）
LMDeploy大模型量化部署实践
nty102的博客
01-15 674
LMDeploy大模型量化部署实践
Ollama、vLLM和LMDeploy这三款主流大模型部署框架
沐雪架构师
03-24 889
LMDeploy 开发了 Persistent Batch(即 Continuous Batch)，Blocked K/V Cache，动态拆分和融合，张量并行，高效的计算 kernel等重要特性。推理性能是 vLLM 的 1.8 倍LMDeploy 支持权重量化和 k/v 量化。4bit 模型推理效率是 FP16 下的 2.4 倍。量化模型的可靠性已通过 OpenCompass 评测得到充分验证。通过请求分发服务，LMDeploy 支持多模型在多机、多卡上的推理服务。
评估和比较不同的LLM推理引擎（TensorRT-LLM、vLLM、LMDeploy、MLC-LLM）在性能和效率上的优势和劣势
XianxinMao的博客
12-18 2074
在当前大规模语言模型（LLM）日益普及的背景下，各种推理引擎相继出现，以优化模型的推理速度和资源使用效率。以下是对四种主要推理引擎——TensorRT-LLM、vLLM、LMDeploy和MLC-LLM——性能和效率的评估和比较
大模型部署该选谁？Ollama、vLLM 和 LMDeploy，各有千秋！
最新发布
2301_81888214的博客
05-09 1095
大模型部署该选谁？Ollama、vLLM 和 LMDeploy，各有千秋！
大模型从入门到入土【二】大模型的部署（VLLM，Lmdeploy）
ran1443765267的博客
06-14 3565
大模型的部署以及使用
小记大模型本地部署：vllm, lmdeploy, ollama
lgnlgn的专栏
02-14 1167
记录一下最近折腾的大模型本地部署。尝试了vllm、lmdeploy、ollama
主流的大模型推理框架
能源星球的博客
02-09 588
vLLM是一个开源的大模型推理加速框架，它通过PagedAttention高效地管理attention中缓存的张量，实现了比HuggingFace Transformers高14-24倍的吞吐量。DeepSpeed通过一系列优化技术，如ZeRO（零冗余优化器）、3D并行（数据并行、模型并行和流水线并行的结合）、1比特Adam等，提升了大模型训练和推理的效率。TensorRT-LLM是由NVIDIA提供的另一个重要的推理框架，专为Transformer架构设计，支持从移动端到数据中心的各种应用。
TensorRT-LLM与VLLM的选择与优化指南
全世界的博客
06-24 8508
TensorRT-LLM（TensorRT for Large Language Models）是NVIDIA推出的一个高性能深度学习推理优化库，专门针对大型语言模型（LLM）进行优化。模型优化：通过层融合、内核选择和精度调整等技术，显著提升模型的推理速度和效率。多GPU支持：支持在多GPU环境下进行分布式推理，有效利用硬件资源，提升整体性能。多节点支持：支持跨多个计算节点进行模型推理，适用于大规模部署和应用场景。量化支持。
LMDeploy量化部署LLM&VLM
weixin_45924641的博客
04-18 2536
LMDeploy量化部署InternLM2-chat-1.8B & LLaVa
大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型的推理速度对比
HUSTHY的博客
04-24 6563
这篇博客就专门对语言大模型推理框架Vllm和TensorRT-LLM在ChatGLM2-6B模型上的推理速度和效果进行一个对比。主要的内容分为三块，第一块简单介绍一下vllm和TensorRT-llM框架的特色和基本技术点，由于篇幅的原因关于技术的原理就不做多的介绍(每个技术点都可以拧出来写一篇文章，工作量非常大)；第二块内容就是介绍一下环境安装和重要的API，并且提供一个web推理服务；最后一块内容就是展示一下具体的推理案例，在推理速度和推理质量上进行对比
tensorrt-llm与vllm的量化性能比较
weixin_42479327的博客
06-04 2446
准备部署lora微调好的语言大模型，有tensorrt-llm和vllm两种加速策略可选，而量化策略也有llm.int8，gptq，awq可用， 怎样的组合才能获得最佳精度与速度呢，这是个值得探讨的问题，本文以llama-factory训练的qwen-7b的lora模型为基准，探究这几个组合对性能的影响。大模型的效果评估是件很难做的事，尤其是对文本生成类的lora模型，比较简单的办法是把生成文本与标签文本用chatgpt去评估打分。
必知！大模型时代超常用的训练、微调、推理、部署框架
2401_85373691的博客
02-21 1177
大模型很多技术干货，都可以共享给你们，如果你肯花时间沉下心去学习，它们一定能帮到你！
4个顶级的大模型推理引擎
新缸中之脑
10-02 3356
LLM 在文本生成应用中表现出色，例如具有高理解度和流畅度的聊天和代码完成模型。然而，它们的庞大规模也给推理带来了挑战。基本推理速度很慢，因为 LLM 会逐个生成文本标记，需要对每个下一个标记进行重复调用。随着输入序列的增长，处理时间也会增加。此外，LLM 有数十亿个参数，很难在内存中存储和管理所有这些权重。为了优化 LLM 推理和服务，有多个框架和软件包，在本博客中，我将使用和比较以下推理引擎：TensorRT-LLM、vLLM、LMDeploy 和 MLC-LLM。
【InternLM 大模型实战】第五课
weixin_42567071的博客
01-15 1387
1、将训练好的模型在特定的软硬件环境中启动的过程，使模型能够接收输入并返回预测效果2、为了满足性能和效率的需求，常常需要对模型进行优化，例如模型压缩和硬件加速LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。
vLLM深度解析：高性能大语言模型推理引擎全揭秘
2401_84495872的博客
04-08 1108
vLLM（Vectorized Large Language Model Serving System）是由加州大学伯克利分校团队开发的高性能、易扩展的大语言模型推理引擎。它专注于通过创新的内存管理和计算优化技术，实现高吞吐、低延迟、低成本的模型服务。
LLM推理引擎怎么选？TensorRT vs vLLM vs LMDeploy vs MLC-LLM
deephub
07-08 5231
TensorRT INT8模型在推理速度上优于HF模型和TensorRT模型，而TensorRT模型在总结任务上表现更好，ROUGE得分最高。可以看到这几个推理引擎都要比使用HF模型的速度快2倍左右，这是因为HF使用的是Python和Pytorch，也没有进行任何的优化。而者4个引擎在推理速度上相差不大，差距在5%-10%左右，这是因为目前这几个引擎都是用了优化的技术，区别只是代码实现的方式不同会产生一些差距，所以在实际使用时，我们只要选择一个兼容性好（或者符合你正在使用的大语言模型）的框架就可以了。
vLLM vs TensorRT-LLM 性能对比测试，基于0910较新版本
xx_nm98的博客
10-10 3867
vLLM 和 TensorRT-LLM 是我们熟知的大型语言模型（LLM）推理框架。**vLLM**[2] 是一个快速且易于使用的库，支持在多种设备上进行 LLM 推理和服务，包括 NVIDIA、AMD 和 Intel 的 GPU。相对地，**TensorRT-LLM**[3] 是一个高度优化的工具箱，专门为加速 NVIDIA GPU 上的推理性能而设计。两者都旨在最大限度地提高推理速度和资源利用率，同时尽量减少延迟。本文直观比较了 vLLM 和 TensorRT-LLM。和。
LMDeploy高效部署Llama-3-8B，1.8倍vLLM推理效率
qq_39967751的博客
04-26 2735
Llama 3 近期重磅发布，发布了 8B 和 70B 参数量的模型，LMDeploy 对 Llama 3 部署进行了光速支持，同时对 LMDeploy 推理 Llama 3 进行了测试，在公平比较的条件下推理效率是 vLLM 的 1.8 倍。书生·浦语和机智流社区同学光速投稿了 LMDeploy 高效量化部署 Llama 3，欢迎 Star。本文将分为以下几个部分来介绍，如何使用LMDeploy来部署 Llama3（以 InternStudio 的环境为例）环境、模型准备。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值