Windows安装ChatGLM3

Git clone

GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型

查看cuda版本

CUDA（Compute Unified Device Architecture）是NVIDIA公司开发的一个平行计算平台和编程模型，它允许开发者利用NVIDIA的GPU（图形处理单元）来进行通用计算，这种计算通常与图形渲染无关。通过使用CUDA，开发者可以将GPU作为强大的并行处理器，用于执行复杂的计算任务，这在科学计算、数据分析、机器学习等领域非常有用。

CUDA提供了API（应用程序编程接口），支持多种编程语言，如C、C++和Python等，使得开发者能够较为容易地编写出能在GPU上运行的并行程序。使用CUDA编写的程序可以在支持CUDA的NVIDIA GPU上运行，从而实现计算任务的加速。

CUDA通过以下方式工作：

1. 内核（Kernels）：在CUDA中，内核是并行执行的函数，它在GPU上为每个数据元素执行。开发者可以定义内核来处理大量的数据。

2. 内存管理：CUDA提供了专门的内存管理功能，允许开发者控制数据在GPU和主机（CPU）之间的传输。

3. 线程层次结构：CUDA中的并行执行模型是基于线程层次结构的，包括线程网格（grid）、线程块（block）和线程（thread）。

4. 同步和通信：CUDA提供了线程间的同步和通信机制，使得开发者可以控制线程的行为和数据的共享。

CUDA是高性能计算领域中一个非常重要的技术，它使得许多计算密集型任务能够通过GPU加速，从而大幅提高计算效率。

(以上信息来自智谱清言的回答)

ChatGLM通过PyTorch支持CUDA计算加速，如果你的GPU支持cuda，下面安装PyTorch的时候，请安装支持CUDA的PyTorch版本。

要查看CUDA版本，可以：

CMD中执行：nvidia-smi

安装Python3

ChatGLM中大量代码使用python编写，需要安装Python3。

官方下载最新windows安装包安装即可。

安装PIP

Pip是Python install package的简写，python的库通过pip命令安装。

安装了Python3后，原则上就已经安装好pip了。如果没有安装，可以安装Conda，Conda中也集成了pip。

安装PyTorch

PyTorch是python支持机器学习的一个库。Pytorch支持Nvidia的GPU的CUDA来计算，也支持CPU来计算，但肯定用GPU比CPU计算更好。

PyTorch官方提供了PyTorch安装指导，网址如下：

Start Locally | PyTorch

不同的操作系统，不同的包，不同的计算平台，安装命令也不同。

在上面的页面中，按你自己的情况选择操作系统、Package、编程语言和计算平台后，会生成一条安装命令。在CMD中执行这条命令就会安装，安装过程会下载whl包，大约2.5GB。

注：whl格式本质上是一个压缩包，里面包含了py文件，以及经过编译的pyd文件。可以在不具备编译环境的情况下，选择合适自己的Python环境进行安装。说白了，.whl就是python的压缩包。目前wheel被认为是Python的二进制包的标准格式

安装后，可以验证一下，是否安装成功。在CMD中输入

python

切换到python环境。

然后依次输入下面的代码：

import torch

x = torch.rand(5,3)

print(x)

输出应类似于：

tensor([[0.7522, 0.4874, 0.5922],

        [0.7667, 0.7001, 0.3312],

        [0.8241, 0.3392, 0.6829],

        [0.5461, 0.8977, 0.5320],

        [0.8009, 0.4389, 0.7881]])

安装PyTorch及验证见下图：