如何本地或者服务器跑起来chatGLM-6b模型???
打铁还需自身硬,首先需要检查你的显卡是否满足需求
链接如下
清华chatGLM-6B github
首先你需要下载他的代码
git clone https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B
下载代码之后的截图如下(我是在服务器跑的,在本地一样)
下载他的代码之后需要下载他的模型对应的预训练之后的参数
模型的参数很大,一般自己手动下载,然后指定位置就行
把所有的文件下载到你的一个文件夹中就行很大,大概十来个G
1、清华chatGLM-6B大模型的参数下载链接
上面的网址(序号1)只是下载很大的模型参数
2、这个网址是模型的所有的参数
然后对照下面的网址(序号2)把(序号1)中下载的所缺少的内容再次下载下来,这次就很快了,因为大的模型文件你已经下载完了
我是针对这个chatGLM-6B创建一个新的环境,利用的是anaconda
具体步骤如下
#创建环境
conda create -n chatGLM python=3.7
#激活环境
conda activate chatGLM
进入到你下载的代码文件文件夹,如下图
因为有一些库需要安装,所以主要执行pip install命令,所需要的库都在requirements.txt文件内
在 ChatGLM-6B 文件夹下执行下面这条指令
pip install -r requirements.txt -i https://mirror.sjtu.edu.cn/pypi/web/simple
安装完成之后,下面这步骤非常重要
非常重要
非常重要
非常重要
非常重要
因为我们是自己下载的模型参数文件
文件参数的路径是
/home/inspur/lbk419100220014/xiaoli/input/chatglm-6b
所以我们需要修改文件配置
如下图:把你的参数文件路径替换就可以了,退出保存之后就可以了。
然后运行python cli_demo.py
如果想运行web_demo.py同理修改以上的文件路径就可以
然后执行python web_demo.py