ollama gpu加速 ubuntu

### 配置 Ollama 在 Ubuntu 上使用 GPU 加速 要在 Ubuntu 系统中配置 Ollama 使用 GPU 加速，需完成以下几个方面的设置：安装 NVIDIA 显卡驱动程序、安装 CUDA 工具包以及验证环境是否支持 GPU 运算。 #### 安装 NVIDIA 显卡驱动 确认系统已安装 GCC 编译器并查看其版本号： ```bash gcc -v ``` 如果未安装 GCC，则可以通过以下命令安装： ```bash sudo apt update && sudo apt install build-essential ``` 接着，查询当前硬件中的显卡型号及其驱动状态： ```bash lspci | grep -i nvidia nvidia-smi ``` 如果没有 `nvidia-smi` 命令或者显示无可用设备，则需要手动安装适合的 NVIDIA 驱动。推荐通过官方 PPA 添加最新稳定版驱动： ```bash sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update sudo ubuntu-drivers autoinstall reboot ``` 完成后再次运行 `nvidia-smi` 来验证驱动是否成功加载[^2]。 #### 安装 CUDA Toolkit 和依赖项 为了使 Ollama 能够充分利用 GPU 的计算资源，还需要安装适配版本的 CUDA Toolkit 及相关库文件。以下是具体操作方法： 1. **添加 NVIDIA APT 源** 执行如下脚本以导入 GPG 密钥并将仓库地址写入 `/etc/apt/sources.list.d/` 下对应列表文件内： ```bash curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list > /dev/null ``` 2. **更新软件索引并安装必要组件** 更新本地APT缓存数据后即可开始部署所需工具链： ```bash sudo apt-get update sudo apt-get install -y nvidia-driver-530 cuda libnvidia-container-tools ``` 注意这里选用的是较新的驱动编号（如530），实际数值可能依据个人机器情况有所差异，请参照前一步骤获取确切信息[^4]。 3. **测试CUDA功能正常与否** 创建一个简单的C++项目用于初步检测编译链接流程能否顺利完成： ```cpp // test_cuda.cu #include <stdio.h> __global__ void helloFromGPU() { printf("Hello World from GPU!\n"); } int main() { printf("Hello World from CPU\n"); helloFromGPU<<<1, 10>>>(); cudaDeviceSynchronize(); return 0; } ``` 保存上述代码片段到名为 `test_cuda.cu` 文件里之后执行下面指令构建目标二进制可执行档件再加以调用观察输出结果判断是否存在错误提示消息。 ```bash nvcc -o test_cuda test_cuda.cu ./test_cuda ``` #### 启用 Ollama 的 GPU 支持 当基础架构搭建完毕以后就可以着手调整应用参数让其切换至图形处理器模式下运作啦！ 修改启动选项加入标志位告知服务端优先考虑采用加速单元处理请求任务流： ```bash OLLAMA_GPU=true ollama run my_model_name ``` 此处假设已经预先下载好某个特定名称叫做my_model_name的大规模预训练神经网络结构实例镜像档案咯[^1][^3]! ---