使用Ubuntu在本地部署ChatGLM3-6B的详细教程

一：环境配置

1.python环境

python 版本推荐3.10 - 3.11

transformers 库版本推荐为 4.36.2

torch 推荐使用 2.0 及以上的版本，以获得最佳的推理性能

2.硬件环境

查看显卡配置：nvidia-smi

运行 Int4 版本的 ChatGLM3-6B的最低配置：

内存：>= 8GB

显存：>= 5GB（1060 6GB,2060 6GB）

二：下载 ChatGLM3-6B模型

1. 从 Hugging Face 官网下载模型。

使用这种方法，下载模型需要先安装Git LFS

git lfs install

git clon