谷歌Colab，Cuda12下安装onnxruntime-gpu！

最新推荐文章于 2025-04-20 23:26:06 发布

Tony's Notes

最新推荐文章于 2025-04-20 23:26:06 发布

阅读量3.8k

点赞数 17

文章标签： python 人工智能开发语言

本文链接：https://blog.csdn.net/TonyNotes/article/details/135701512

版权

这个问题折腾了好一会儿，记录一下！

Colab悄悄的吧Cuda升级到了CUDA12。

但是Onnxruntime并没有。

目前官方版为1.16.3 仅支持Cuda11.8。

如果你想在Colab上使用ONNX就会遇到.so报错，无法调用GPU了。

下面记录下解决方法和过程。

安装日更版：

pip install ort-nightly-gpu

理论上这样就可以安装最新开发版了，但是由于pypi并没有更新，所以这么安装无法匹配到版本。

指定日更源：

pip install ort-nightly-gpu --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/ORT-Nightly/pypi/simple/

见招拆招，没有源，就找到官方给的源，指定一下。但是实际上这个版本依旧不行，目测，虽然是最新版，但是并没有用CUDA12来编译。

安装CUDA12版

pip install onnxruntime-gpu==1.17.0 --index-url=https://pkgs.dev.azure.com/onnxruntime/onnxruntime/_packaging/onnxruntime-cuda-12/pypi/simple

最后找到了这一行命令，这条命令里明确的包含了GPU和CUDA12，安装只有，终于成功了。

这个资料比较少，写个笔记记录下，可以自用。也可以帮助到有需要的人！