windows11 本地安装部署Qwen2.5-VL详细介绍

嗯呐，是的

于 2025-06-10 20:43:42 发布

阅读量490

点赞数 4

CC 4.0 BY-SA版权

文章标签： windows 人工智能深度学习

本文链接：https://blog.csdn.net/qq_40828839/article/details/148567165

windows11 本地部署Qwen2.5-VL

多模态大模型已成为未来趋势，结合国内开源大模型情况，选择Qwen2.5-VL作为案例分析，详细介绍如何在本地部署Qwen2.5-VL，显卡较小这里以3B进行适配。

环境搭建

主要参数说明：

conda create -n Qwen25VL python==3.10
显卡：RTX3060
cuda:12.4
cudnn:8.9.6.50
torch-2.4.1+cu124-cp310-cp310-win_amd64
torchvision-0.19.1+cu124-cp310-cp310-win_amd64

在这里插入图片描述

下载工程，安装必要依赖

下载工程

1、conda activateQwen25VL 
2、git clone https://github.com/QwenLM/Qwen2.5-VL

安装依赖

1、安装torch-cu124、安装torchvision
在线安装由于网络问题，会很慢，我这里先离线下载然后安装
pip intstall torch-2.4.1+cu124-cp310-cp310-win_amd64.whl
pip install torchvision-0.19.1+cu124-cp310-cp310-win_amd64.whl
2、pip install -r requirements_web_demo.txt
如果安装这里出现error,后面问题及解决办法

运行

1.1、python web_demo_mm.py --checkpoint-path “Qwen/Qwen2.5-VL-3B-Instruct”
1.2、在vscode 中配置环境，然后运行

2 本地运行：http://127.0.0.1:7860

问题及解决办法

1、安装torch版本冲突问题
首先要确保cuda是12x，如果之前cuda是11x,最好升级一下，安装过程中会出现版本不一致问题，这里建议少走弯路，直接参考博主。
2、pip install -r requirements_web_demo.txt 报错
Collecting git+https://github.com/huggingface/transformers.git (from -r requirements_web_demo.txt (line 8)) 。这里是无法访问git地址
解决办法：注释掉line8 行，本地离线下载，然后放进工程里面，进入transformer ,然后输入：pip install .
3、运行过程中能跑起来，但是_queue.Empty
解决办法：检测torch ,是不是cpu 版本，理论上应该是gpu版本
4、web_demo_mm.py 运行报错 OSError: We couldn’t connect to ‘https://huggingface.co’ to load the files。（–checkpoint-path）
解决办法：离线下载 Qwen\Qwen2.5-VL-3B-Instruct
地址：https://huggingface.co/Qwen/Qwen2.5-VL-3B-Instruct/tree/main