如何本地跑起来chatGLM-6B模型?有图超详细

本文指导如何在本地或服务器上部署和运行ChatGLM-6b模型,包括显卡要求、代码下载、创建Anaconda环境、安装依赖、配置模型参数路径及运行脚本的详细步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

如何本地或者服务器跑起来chatGLM-6b模型???

打铁还需自身硬,首先需要检查你的显卡是否满足需求
这里是清华官网的显存需求
链接如下
清华chatGLM-6B github
首先你需要下载他的代码

git clone https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B

下载代码之后的截图如下(我是在服务器跑的,在本地一样)
在这里插入图片描述
下载他的代码之后需要下载他的模型对应的预训练之后的参数
模型的参数很大,一般自己手动下载,然后指定位置就行
把所有的文件下载到你的一个文件夹中就行很大,大概十来个G
1、清华chatGLM-6B大模型的参数下载链接
上面的网址(序号1)只是下载很大的模型参数
2、这个网址是模型的所有的参数
然后对照下面的网址(序号2)把(序号1)中下载的所缺少的内容再次下载下来,这次就很快了,因为大的模型文件你已经下载完了
这个
我是针对这个chatGLM-6B创建一个新的环境,利用的是anaconda
具体步骤如下

#创建环境
conda create -n chatGLM python=3.7

#激活环境
conda activate chatGLM

进入到你下载的代码文件文件夹,如下图
在这里插入图片描述
因为有一些库需要安装,所以主要执行pip install命令,所需要的库都在requirements.txt文件内

ChatGLM-6B 文件夹下执行下面这条指令
pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple

安装完成之后,下面这步骤非常重要
非常重要
非常重要
非常重要
非常重要

因为我们是自己下载的模型参数文件
文件参数的路径是

/home/inspur/lbk419100220014/xiaoli/input/chatglm-6b

所以我们需要修改文件配置
在这里插入图片描述
如下图:把你的参数文件路径替换就可以了,退出保存之后就可以了。
在这里插入图片描述
然后运行python cli_demo.py

如果想运行web_demo.py同理修改以上的文件路径就可以
然后执行python web_demo.py

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值