NVIDIA GPU 入门教程：在 GPU 上运行 Python 脚本，对比 CPU 与 GPU 性能，检测 A100 性能

<think>嗯，用户想了解在服务器上运行脚本时如何选择GPU。首先，我得确定他们可能使用的场景，比如深度学习训练或者科学计算。常见的框架有TensorFlow、PyTorch，这些框架通常有自动检测GPU的机制，但用户可能需要手动指定。 接下来，要考虑不同的方法。比如环境变量CUDA_VISIBLE_DEVICES，这是常用的方式，设置之后可以让脚本只看到特定的GPU。用户可能不知道这个变量，需要详细解释用法和例子。 然后是命令行参数，比如在运行Python脚本时直接指定GPU。例如，某些框架允许--gpu参数，但可能因框架而异，需要举几个例子，比如TensorFlow和PyTorch的不同用法。 还有在代码内部指定GPU的情况，比如使用torch.cuda.set_device()或者tf.config.set_visible_devices。这时候用户可能需要修改脚本，适合有一定编程经验的用户。 多GPU的情况也需要考虑，比如数据并行或模型并行。用户可能需要了解如何分配多个GPU，或者如何避免资源冲突。这里需要简要说明，但可能不需要太深入，除非用户具体问到。 工具方面，nvidia-smi命令是必须提到的，用来查看GPU使用情况，帮助用户选择空闲的GPU。可能还需要提到nvidia-smi里的GPU编号和CUDA的编号是否一致，有时候会有差异，比如PCI总线编号和CUDA顺序不同，这时候需要提醒用户注意。 资源调度系统，比如Slurm，用户可能在HPC环境中使用，这时候需要介绍如何在作业提交脚本中指定GPU资源，比如--gres=gpu:1这样的选项。 常见问题部分，用户可能会遇到GPU内存不足的问题，这时候需要建议他们释放内存或者选择其他GPU。权限问题也可能存在，比如没有权限访问GPU，需要检查用户组或者联系管理员。 最后，最佳实践部分，建议用户每次明确指定GPU，避免依赖默认设置，尤其是多用户环境中。同时，监控GPU使用情况，合理分配资源，避免冲突。 需要检查是否有遗漏的部分，比如不同的操作系统是否影响设置，不过通常服务器都是Linux，所以可能不用提Windows。另外，Docker环境中使用GPU的情况，可能需要额外说明，比如NVidia Docker的参数，但用户没有提到，可能暂时不需要涉及。 总结下来，应该分步骤介绍各种方法，从环境变量到命令行参数，再到代码内部设置，以及工具和资源管理系统的使用，最后是常见问题和建议。这样结构清晰，用户可以根据自己的情况选择合适的方法。</think>在服务器上运行脚本时选择GPU，通常涉及以下关键步骤和注意事项，我将分步为您讲解： 1. **查看GPU状态** - 执行命令：`nvidia-smi` - 输出显示：GPU编号、显存占用、进程ID、温度等信息 - 示例输出： ``` | 0 NVIDIA A100... On | 00000000:3B:00.0 Off | 0 | | 1 NVIDIA A100... On | 00000000:5E:00.0 Off | 0 | ``` 2. **指定GPU的常用方法** 方法一：环境变量（推荐） ```bash CUDA_VISIBLE_DEVICES=0,1 python your_script.py # 使用GPU 0和1 ``` 方法二：代码内指定（PyTorch示例） ```python import torch torch.cuda.set_device(1) # 选择GPU 1 device = torch.device("cuda:1") ``` 方法三：TensorFlow配置 ```python import tensorflow as tf gpus = tf.config.list_physical_devices('GPU') tf.config.set_visible_devices(gpus[1], 'GPU') # 选择第2块GPU ``` 3. **多GPU控制策略** - 数据并行：`torch.nn.DataParallel(model)` - 分布式训练：`torch.distributed.launch` - 显存分配控制：设置`CUDA_VISIBLE_DEVICES=2,3`仅暴露特定GPU 4. **资源调度系统集成** Slurm作业提交示例： ```bash #!/bin/bash #SBATCH --gres=gpu:2 # 请求2块GPU python train.py ``` 5. **常见问题排查** - **GPU不工作**：检查驱动版本`nvidia-smi -q | grep "Driver Version"` - **显存不足**：使用`nvidia-smi --gpu-reset -i 0`重置GPU（需root权限） - **设备不可见**：验证PCIe连接状态`lspci | grep -i nvidia` 6. **最佳实践建议** - 始终显式指定GPU，避免依赖默认设备 - 使用`gpustat`工具实时监控（需安装：`pip install gpustat`） - 在Docker中使用GPU时添加参数：`--gpus all` 或 `--gpus '"device=0,1"'` 通过以上方法，您可以有效管理服务器GPU资源，实现： - 多任务隔离（不同脚本使用不同GPU） - 资源负载均衡（自动选择空闲GPU） - 性能优化（匹配计算任务与GPU型号） 实际应用时建议结合`nvidia-smi`监控和系统日志（`/var/log/syslog`）进行综合调试。