前言
CUDA (Compute Unified Device Architecture),是NVIDIA发布的一个通用并行计算平台和编程模型。基于CUDA编程可以利用GPUs的并行计算引擎来更加高效地解决计算量大的难题。近年来,GPU最成功的一个应用就是深度学习领域,基于GPU的并行计算已经成为训练深度学习模型的标配。各个深度学习框架基本也都是CUDA实现对GPU的调用及操作。截至本文发文,最新的CUDA版本为CUDA11.6。
本文主要记录,不同的深度学习框架使用CUDA需要注意的版本等问题。
注意事项
以GPU版本的tensorflow为例,一般注意以下几个问题就不会出错。
1、确定自已要安装那个版本的 tensorflow-gpu;
2、根据自己要装的tensorflow-gpu版本确定要下载的CUDA版本;
3、根据要安装的CUDA版本确定要下载的Cudnn版本(CUDA Deep Neural Network,是用于深度神经网络的GPU加速库)
Tensorflow-gpu版本与CUDA版本对应关系
如下表所示
对于版本号大于1.13的tensorflow-gpu的1.x版本,如1.14、1.15,建议安装CUDA10.0,不要安装CUDA10.1,安装后会提示缺少很多库文件,而导致GPU版本的tensorflow无法使用,如下图所示:
如果是2.0以上的tensorflow,则按下面列表安装:
TF | CUDA | cudnn |
---|---|---|
2.0 | 10.0 | 7.6 |
2.1 | 10.1 | 7.6 |
2.2 | 10.1 | 7.6 |
2.3 | 10.1 | 7.6 |
2.4 | 11.0 | 8.0 |
2.5 | 11.2 | 8.1 |
2.6 | 11.3 | 8.2 |
2.7 | 11.3 | 8.2 |
PyTorch-gpu版本与CUDA版本对应关系
为了用户下载的PyTorch与机器的CUDA版本能应对上,PyTorch的官网做了非常清晰的下载指示。如下图:
目前主流使用的版本为基于CUDA11.3的PyTorch1.11
CUDNN与CUDA的对应关系
可以直接通过nvidia的官网查看: cuDNN Archive | NVIDIA Developer
参考网址: