鲲鹏+昇腾(310P)部署Qwen3-32B【简单版】

在这里插入图片描述

前期说明

硬件配置:
鲲鹏:2 * 920 + 128GB + 4 * Atlas300I duo
系统:openEuler22.03-LTS
驱动:24.1.rc3
GPUStack部署参考我前两篇文章:
鲲鹏+昇腾部署集群管理软件GPUStack,两台服务器搭建双节点集群【实战详细踩坑篇】
GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】


部署GPUStack

docker run -d --name gpustack \
    --restart=unless-stopped \
    --device /dev/davinci0 \
    --device /dev/davinci1 \
    --device /dev/davinci2 \
    --device /dev/davinci3 \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /etc/ascend_install.info:/etc/ascend_install.info \
    --network=host \
    --ipc=host \
    -v gpustack-data:/var/lib/gpustack \
    gpustack/gpustack:latest-npu-310p

部署Qwen3

在GPUStack左边菜单栏选择:模型->部署模型->通义千问3;配置选择:后端选择Asend MindIE,点击高级,加上--dtype=float16 然后点保存下载模型并运行。
在这里插入图片描述
连上dify后,发现不支持function call,查了一下,发现MindIE 目前还没适配…
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值