[安装FlashAttention] CUDA版本和 Nvidia驱动版本

PigeonGuan

已于 2025-07-06 01:50:17 修改

阅读量3.3k

点赞数 5

CC 4.0 BY-SA版权

文章标签：深度学习

于 2025-02-10 21:50:45 首次发布

本文链接：https://blog.csdn.net/weixin_51552032/article/details/145557786

nvidia-smi 查看driver api 的CUDA版本

听说这个是本机能装到的最高版本
在这里插入图片描述
那这样看来我最高能装到12.4。

nvcc -V 查看当前runtime api的CUDA版本

在这里插入图片描述

还是古老的11.5版本，没办法啊，FlashAttention老是说不支持？

安装Torch时选择的CUDA版本

pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118

我是使用这个命令安装的，也就是CUDA版本是11.8，在conda环境安装的runtime api是CUDA11.8版本的。

flash attention报错如下：

在这里插入图片描述
看来flash attention用的是系统的那个CUDA runtime api，而不是conda环境的，所以他说我的CUDA版本太低了。。。。

那我只能升级系统CUDA版本咯

参考别人的安装过程

https://blog.csdn.net/m0_52583356/article/details/138150039
https://blog.csdn.net/h3c4lenovo/article/details/119003405

在这里插入图片描述

可能是这个 CUDA12.1 是之前就在的，我安装并没有安装成功，因为这个时间节点是2023。。。

但是我自己重新开一个窗口，发现 nvcc -V还是低版本的
在这里插入图片描述

原来是自己的 bashrc 没有配置路径：
打开 ~/.bashrc 文件，输入以下内容

export PATH=/usr/local/cuda-12.1/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

我这一步就搞定了，不需要像https://blog.csdn.net/h3c4lenovo/article/details/119003405 这个链接里面说的那样，还要安装cudnn。

记得 source ~/.bashrc
在这里插入图片描述

但是还是没办法安装。。。。

一开始我以为是我 torch 安装的 CUDA toolkit11.8，nvcc -V是12.1会冲突，然后我把torch也换成了CUDA12.1的，但是还是报了神奇的错误。。。。

我明明有torch但是他说我没有

(FlashAttn) Guanjq@server-4080-8:~/flash-attention$ pip install flash-attn --use-pep517
Collecting flash-attn
  Using cached flash_attn-2.7.4.post1.tar.gz (6.0 MB)
  In