百川大模型（LLM）配置流程，零基础入门到精通，收藏这篇就够了

本文链接：https://blog.csdn.net/Python_paipai/article/details/144151635

一、服务器配置

服务器
1	CPU	8C
2	内存	16G
3	硬盘	100G
4	显卡	显存8G以上（NVIDIA）
5	系统	Linux（Ubuntu20.04）

二、模型配置流程

1、NVIDIA显卡驱动安装

# 查看显卡硬件型号``sudo ubuntu-drivers list   #查询推荐显卡驱动版本``sudo apt-get install nvidia-driver-535 ## 535是驱动版本，根据显示的版本进行选择，建议选择最新版本``sudo apt-get update``# 重启服务器``sudo reboot``# 查看显卡驱动是否安装成功``nvidia-smi``# 如果显示类似以下内容证明驱动安装完成``Wed Sep 27 13:06:45 2023`       `+---------------------------------------------------------------------------------------+``| NVIDIA-SMI 535.86.05              Driver Version: 535.86.05    CUDA Version: 12.2     |``|-----------------------------------------+----------------------+----------------------+``| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |``| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |``|                                         |                      |               MIG M. |``|=========================================+======================+======================|``|   0  NVIDIA GeForce RTX 3080        Off | 00000000:01:00.0 Off |                  N/A |``| 51%   64C    P2             104W / 320W |   8485MiB / 10240MiB |      5%      Default |``|                                         |                      |                  N/A |``+-----------------------------------------+----------------------+----------------------+`                                                                                         `+---------------------------------------------------------------------------------------+``| Processes:                                                                            |``|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |``|        ID   ID                                                             Usage      |``|=======================================================================================|``|    0   N/A  N/A       947      G   /usr/lib/xorg/Xorg                            9MiB |``|    0   N/A  N/A      1461      G   /usr/bin/gnome-shell                          4MiB |``+---------------------------------------------------------------------------------------+

2、docker安装

# 安装docker``sudo apt-get install docker.io``# docker命令免root权限执行``# 创建docker用户组，若已有docker组会报错，没关系可忽略` `sudo groupadd docker``# 将当前用户加入docker组``sudo gpasswd -a ${USER} docker``# 重启docker服务``sudo service docker restart``# 切换当前会话到新group或重新登录重启会话``newgrp docker

3、镜像下载

# wget http://请飞书联系常瑞明.发你

4、镜像加载

# 进入镜像存放的目录，执行下面命令将镜像加载到服务器``# CPU版本``cat dl_7b_chat_cpu_v1.0.tar | docker load``cat dl_13b_chat_cpu_v1.0.tar | docker load``   ``# GPU版本``cat dl_7b_chat_gpu_v1.0.tar | docker load``cat dl_7b_chat_4bits_gpu_v1.0.tar | docker load``cat dl_13b_chat_gpu_v1.0.tar | docker load``cat dl_13b_chat_4bits_gpu_v1.0.tar | docker load

5、镜像容器生成

# 通过进行生成容器``# CPU版本：7B占用内存15G左右，13B占用内存60G左右``docker run -it --privileged=true -p 7333:7333 --name=dl_7b_chat_gpu_v1 e310d8d975f5 gunicorn api:app -c conf.py --bind=0.0.0.0:7333``docker run -it --privileged=true -p 7333:7333 --name=dl_13b_chat_gpu_v1 2fe7dd3f4f9e gunicorn api:app -c conf.py --bind=0.0.0.0:7333``   ``# GPU版本：7B显存占用16G左右，7B-4Bits显存占用8G左右，13B显存占用34G左右，13B-4Bits显存占用16G左右``# --gpus all命令是将全部显卡与容器进行连接，指定特定显卡：--gpus '"device=0"'（0代表第一张显卡，通过nvidia-smi可以查看显卡编号）``docker run --ipc=host --gpus '"device=0"' -it -p 7333:7333 --name=dl_7b_chat_gpu_v1 4ba88965ca92 gunicorn api:app -c conf.py --bind=0.0.0.0:7333``docker run --ipc=host --gpus '"device=0"' -it -p 7333:7333 --name=dl_7b_chat_4bits_gpu_v1 66bf63aa7eff gunicorn api:app -c conf.py --bind=0.0.0.0:7333``docker run --ipc=host --gpus '"device=0"' -it -p 7333:7333 --name=dl_13b_chat_gpu_v1 39c426074bc0 gunicorn api:app -c conf.py --bind=0.0.0.0:7333``docker run --ipc=host --gpus '"device=0"' -it -p 7333:7333 --name=dl_13b_chat_4bits_gpu_v1 5377a65506e8 gunicorn api:app -c conf.py --bind=0.0.0.0:7333

6、测试接口

# -*- coding: utf-8 -*-``"""``@author  ：chang``@date    ：2024年01月30日 15:37:14``@file    ：chat_client.py``@IDE     ：PyCharm` `@content ：百川大模型接口调用``"""``import requests``import json``   ``   ``if __name__ == '__main__':`    `request_url = 'http://ip:port/inference/'`    `params = {"content": "你叫什么"}`    `headers = {'content-type': 'application/x-www-form-urlencoded'}`    `result = requests.post(request_url, data=params, headers=headers)`    `if result.status_code == 200:`        `json_obj = json.loads(result.content.decode('utf-8'))`        `print(json_obj)`    `else:`        `print(f"Request failed with status code: {result}")