使用vllm部署DeepSeek-R1-Distill-Qwen-1.5B

已于 2025-02-23 19:35:53 修改
阅读量8.4k 收藏 47
点赞数 37
CC 4.0 BY-SA版权
文章标签： 人工智能 python AIGC
于 2025-02-02 17:22:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xuebodx0923/article/details/145420990

1.介绍

1.1 vllm

vLLM是伯克利大学LMSYS组织开源的大语言模型高速推理框架，旨在极大地提升实时场景下的语言模型服务的吞吐与内存使用效率。vLLM是一个快速且易于使用的库，用于 LLM 推理和服务，可以和HuggingFace 无缝集成。vLLM利用了全新的注意力算法「PagedAttention」，有效地管理注意力键和值。

vLLM 的特点和优势：

采用了 PagedAttention，可以有效管理 attention 的 keys、values。

吞吐量最多可以达到 huggingface 实现的24倍，文本生成推理（TGI）高出3.5倍，并且不需要对模型结构进行任何的改变。

如果想使用更简单的方式部署DeepSeek-R1-Distill-Qwen-1.5B，可以看这篇文章：

使用ollama部署DeepSeek-R1-Distill-Qwen-1.5B-CSDN博客

1.2 Deepseek

DeepSeek，全称杭州深度求索人工智能基础技术研究有限公司。推出国产大模型DeepSeek-V3和DeepSeek-R1。总参数量为671B，激活37B。

最低0.47元/天 解锁文章

200万优质内容无限畅学
xuebodx0923
关注
deepseek r1 量化版本 Vllm 部署运行
AI天才研究院
02-04 6422
如需进一步了解其他工具（如 Ollama 或 LMStudio）的部署方法，可参考相关文档：。
开源模型应用落地-DeepSeek-R1-Distill-Qwen-7B与vllm实现推理加速的正确姿势（三）
以微薄之力，予他人些许温暖.
03-03 2万+
使用 vLLM 清晰呈现推理过程
DeepSeek 部署指南 (使用 vLLM 本地部署)
热门推荐
m0_48891301的博客
02-07 3万+
vLLM (https://github.com/vllm-project/vllm) 是一个快速且易于使用的库，用于进行大型语言模型的推理和部署。
vLLM用2*(8 H800)部署DeepSeek-R1-0528-685B
最新发布
欢迎来到云逸的博客频道
06-13 1128
通过 vLLM 并行策略部署满血版本的 DeepSeek-R1-0528 685B。硬件环境是 2*(8 H800)。实验全过程包含所有细节。可以直接复用部署命令和过程
基于vLLM部署企业级DeepSeek大模型
秃了也弱了
03-07 3153
Ollma框架适合个人用户私有化本地部署，但在多用户并发场景下性能衰减明显。vLLM 是由加州大学伯克利分校 LMSYS 组织开源的大语言模型（LLM）高速推理框架。它旨在显著提升实时场景下语言模型服务的吞吐量和内存使用效率。vLLM 的主要特点包括：1、PagedAttention 技术：vLLM 引入了 PagedAttention 算法，通过分页管理注意力机制中的键（keys）和值（values），有效解决了传统方法中显存碎片化和过度预留的问题。
生产环境vLLM 部署 DeepSeek，如何调优，看这里
yxkong的专栏
03-14 1774
vLLM 是一个快速且易于使用的 LLM 推理和服务库。vLLM（VeryLargeLanguageModelServing）是由加州大学伯克利分校团队开发的高性能、低延迟的大语言模型（LLM）推理和服务框架。它专为大规模生产级部署设计，尤其擅长处理超长上下文（如8k+ tokens）和高并发请求，同时显著优化显存利用率，是当前开源社区中吞吐量最高的LLM推理引擎之一。高吞吐量：采用先进的服务器吞吐量技术。内存管理：通过PagedAttention高效管理注意力键和值内存。请求批处理。
部署满血DeepSeek R1的避坑指南-vLLM 0.7.1
m0_63171455的博客
02-05 4559
今天看到vLLM的朋友圈发布了DeepSeek R1的PP支持，立刻开始我的捣鼓之旅，假如我训练的超大MoE上线了，也得做好技术准备工作是不嘛。把踩坑经验给大家分享一下，希望能够相比于官方文档更白话一点。知乎@游凯超 说一定要让整个过程变得丝滑无比，我俩配合做了几个验证，现在应该只需要 Step0 和 Step3 就可以run起来了，如果遇到autoscalar的相关问题可以看Step1可以解决。
基于 vLLM 搭建 DeepSeek-V2 Chat 服务
木尧大兄弟
05-23 4020
vllm 启动 DeepSeek v2 chat 服务
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
engchina的专栏
02-02 9477
5分钟在本地PC上使用VLLM快速启动DeepSeek-R1-Distill-Qwen-32B
【零基础】基于vLLM 搭建DeepSeek-R1-Distill-Qwen-7B【最简】
caoyongsheng的博客
04-05 1160
大模型落地应用离不开高效推理框架的支持，vLLM以其卓越的性能在众多框架中脱颖而出。本文将带你深入探索如何使用vLLM框架部署DeepSeek-R1-Distill-Qwen大语言模型。一、vLLM框架特性解析1、高效内存管理在大模型推理中，内存管理至关重要。vLLM独创的PagedAttention算法，如同为显存空间安排了一位智能管家。它借鉴操作系统虚拟内存管理机制，实现了KV缓存的动态分页管理。
使用ollama部署DeepSeek-R1-Distill-Qwen-1.5B
xuebodx0923的博客
02-07 3117
Ollama是一个基于 Go 语言的本地大语言模型运行框架，类 docker 产品（支持 list,pull,push,run 等命令），ollama将类似于镜像的大模型从中央仓库拉取到本地，可以把ollama看作，把ai大模型看作是镜像。DeepSeek，全称杭州深度求索人工智能基础技术研究有限公司。推出国产大模型DeepSeek-V3和DeepSeek-R1。总参数量为671B，激活37B。优势：1：开发费用超级低，训练成本约为558万美元，是美国最好的模型openAI o1开发费用的3%
ubuntu系统vllm部署deepseek-70B(DeepSeek-R1-Distill-Llama-70B)
qq_38988216的博客
02-14 6533
假设下载到 ~/Downloads/cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz。--served-model-name deepseek-70b # API中的模型名称。--gpu-memory-utilization 0.85 \ # 显存利用率。--trust-remote-code \ # 如果模型需要自定义代码。# 例如DeepSeek-R1-Distill-Llama-70B模型。# 例如deepseek-r1-awq量化模型。
vllm 本地部署生产级DeepSeek R1 32B 模型实践
maskevinwu的专栏
02-03 8831
vllm 本地部署生产级DeepSeek R1 32B 模型实践
使用vllm本地部署deepseek大模型（企业级部署大模型）
m0_50641264的博客
03-07 1285
使用vllm企业级别部署deepseek大模型
大模型笔记之- 基于vllm分支编译部署 DeepSeek-V2-Lite-Chat
JunHowie的个人Blog
05-28 2299
vllm分支部署DeepSeek-V2-Lite-Chat
解锁大模型潜力：vLLM 集群部署 满血DeepSeek R1 671B大模型实战指南
m0_59163425的博客
02-25 5561
导语： 大模型时代，如何高效部署和推理成为关键挑战。DeepSeek 是一个专注于中文理解和生成的大模型系列，涵盖了文本分类、情感分析、机器翻译、文本摘要等多个任务。其强大的语义理解和生成能力，为各种自然语言处理应用提供了有力支持。本文将带你深入探索 vLLM 集群部署 DeepSeek 大模型的实战技巧，解锁大模型应用的无限可能！近年来，大模型在自然语言处理、计算机视觉等领域取得了突破性进展，但其庞大的参数量和计算需求也给部署和推理带来了巨大挑战。如何高效、稳定地运行大模型，成为开发者们关注的焦点。
vLLM 部署 DeepSeek 大模型避坑指南
weixin_45631123的博客
02-16 1661
面对原始DeepSeek-R1-32B模型在T4显卡上出现的显存溢出问题，我们可以采取以下创新性的技术措施：知识蒸馏：通过将原本庞大的32B模型压缩至更小巧但依然高效的14B规模，确保了至少95%的原始性能得以保留。混合量化：应用GPTQ 4-bit量化技术，成功地将显存需求从32GB大幅减少到9.8GB，显著提升了模型在T4上的运行效率5。动态卸载：利用vLLM特有的PagedAttention机制，实现了显存与内存之间的智能调度，进一步缓解了显存压力。
Windows本地部署（DeepSeek-R1-Distill-Qwen-1.5B）模型
qq1164014750
01-26 1万+
登录 WSL 后，根据 NVIDIA 下载页面的说明安装 CUDA 11.8，依次执行以下命令：也可以参考官方说明：https://developer.nvidia.com/cuda-downloads?https://modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B 国内 modelscope。
用vLLM部署DeepSeek，算力减半，吞吐量剧增。
Black_Rock_br的博客
03-11 1487
它支持分布式张量并行推理和服务，利用先进的技术在多个GPU上优化性能，其核心功能基于Megatron-LM的张量并行算法，允许有效模型分布。引擎参数请查询网站：https://docs.vllm.ai/en/latest/serving/engine_args.html。高效的企业生产环境应该使用的一般都采用 vllm、sglang 进行部署，本文是用 vLLM 部署 DeepSeek-R1模型。--served-model-name API 中使用的模型名称。
ubuntu服务器部署DeepSeek-R1-Distill-Qwen-1.5B
02-21
### 部署 DeepSeek-R1-Distill-Qwen-1.5B 模型 #### 准备工作环境 为了成功部署 DeepSeek-R1-Distill-Qwen-1.5B 模型，在Ubuntu服务器上需先安装必要的依赖项并配置开发环境。官方推荐使用 Ubuntu 20.04 LTS 版本作为操作系统基础[^1]。 ```bash sudo apt-get update && sudo apt-get upgrade -y ``` #### 获取源码与编译 下载瑞芯微提供的 `DeepSeek-R1-Distill-Qwen-1.5B` 官方Demo程序，并按照指示完成本地编译过程： ```bash git clone https://github.com/path_to_repo/DeepSeek-R1-Distill-Qwen-1.5B.git cd DeepSeek-R1-Distill-Qwen-1.5B/deploy cmake .. make ``` 上述命令会构建所需的二进制文件以便后续运行。 #### 编写API Server脚本 创建用于启动 API server 的 shell 脚本 `api_server.sh`，该脚本负责初始化服务端口监听以及加载预训练模型实例化所需资源[^2]。 ```bash #!/bin/bash export MODEL_PATH=/path/to/model/directory python3 /LLM/DeepSeek-R1-Distill-Qwen-1.5B/api_server.py --model_path $MODEL_PATH & echo "API Server started successfully." ``` 确保赋予此脚本可执行权限并通过以下方式启动它: ```bash chmod +x api_server.sh ./api_server.sh ``` #### 使用 vllm 进行优化部署 (可选) 对于希望进一步提升性能或简化管理流程的情况，考虑利用专门设计的大规模语言模型推理引擎如vllm来实现更高效的部署方案[^3]。具体操作指南参见相关技术文档获取更多细节说明。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值