前期说明
硬件配置:
鲲鹏:2 * 920 + 128GB + 4 * Atlas300I duo
系统:openEuler22.03-LTS
驱动:24.1.rc3
GPUStack部署参考我前两篇文章:
鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】
GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】
部署GPUStack
docker run -d --name gpustack \
--restart=unless-stopped \
--device /dev/davinci0 \
--device /dev/davinci1 \
--device /dev/davinci2 \
--device /dev/davinci3 \
--device /dev/davinci_manager \
--device /dev/devmm_svm \
--device /dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
-v /etc/ascend_install.info:/etc/ascend_install.info \
--network=host \
--ipc=host \
-v gpustack-data:/var/lib/gpustack \
gpustack/gpustack:latest-npu-310p
部署Qwen3
在GPUStack左边菜单栏选择:模型->部署模型->通义千问3;配置选择:后端选择Asend MindIE,点击高级,加上--dtype=float16
然后点保存下载模型并运行。
连上dify后,发现不支持function call,查了一下,发现MindIE 目前还没适配…