time=2025-03-12T23:34:06.214+08:00 level=INFO source=server.go:405 msg="starting llama server" cmd="D:\\Program Files (x86)\\Ollama\\ollama.exe runner --model D:\\Program Files (x86)\\Ollama\\models\\blobs\\sha256-6e9f90f02bb3b39b59e81916e8cfce9deb45aeaeb9a54a5be4414486b907dc1e --ctx-size 2048 --batch-size 512 --n-gpu-layers 32 --threads 6 --no-mmap --parallel 1 --port 59448" time=2025-03-12T23:34:06.224+08:00 level=INFO source=sched.go:450 msg="loaded runners" count=1 time=2025-03-12T23:34:06.224+08:00 level=INFO source=server.go:585 msg="waiting for llama runner to start responding" time=2025-03-12T23:34:06.224+08:00 level=INFO source=server.go:619 msg="waiting for server to become available" status="llm server error" time=2025-03-12T23:34:06.241+08:00 level=INFO source=runner.go:931 msg="starting go runner" ggml_cuda_init: GGML_CUDA_FORCE_MMQ: no ggml_cuda_init: GGML_CUDA_FORCE_CUBLAS: no ggml_cuda_init: found 1 CUDA devices: Device 0: NVIDIA GeForce RTX 4060, compute capability 8.9, VMM: yes load_backend: loaded CUDA backend from D:\Program Files (x86)\Ollama\lib\ollama\cuda_v12\ggml-cuda.dll load_backend: loaded CPU backend from D:\Program Files (x86)\Ollama\lib\ollama\ggml-cpu-alderlake.dll time=2025-03-12T23:34:06.349+08:00 level=INFO source=ggml.go:109 msg=system CPU.0.SSE3=1 CPU.0.SSSE3=1 CPU.0.AVX=1 CPU.0.AVX_VNNI=1 CPU.0.AVX2=1 CPU.0.F16C=1 CPU.0.FMA=1 CPU.0.LLAMAFILE=1 CPU.1.LLAMAFILE=1 CUDA.0.ARCHS=500,600,610,700,750,800,860,870,890,900,1200 CUDA.0.USE_GRAPHS=1 CUDA.0.PEER_MAX_BATCH_SIZE=128 compiler=cgo(clang) 我的GPU启动了嘛?
时间: 2025-03-13 10:02:38 浏览: 81
### 确认CUDA和NVIDIA GPU初始化
为了验证CUDA以及NVIDIA GeForce RTX 4060是否已经成功安装并能够被LLaMA服务器识别,可以通过执行一系列测试来确保环境配置无误。
#### 使用`nvidia-smi`命令检查驱动程序状态
通过SSH连接到目标机器或者直接在本地打开命令行工具,输入如下指令:
```bash
nvidia-smi
```
该命令会返回当前系统上所有可用的NVIDIA设备列表及其基本信息,包括但不限于显卡型号、温度、功耗等。如果一切正常,则应该能看到有关RTX 4060的具体参数[^1]。
#### 验证PyTorch能否检测到GPU资源
假设正在使用的深度学习框架为PyTorch,在Python环境中尝试运行下面这段简单的脚本以判断库函数是否能访问到GPU硬件加速功能:
```python
import torch
if torch.cuda.is_available():
print(f"CUDA version: {torch.version.cuda}")
device_count = torch.cuda.device_count()
print(f"Number of available GPUs: {device_count}")
for i in range(device_count):
device_name = torch.cuda.get_device_name(i)
capability = torch.cuda.get_device_capability(i)
print(f"\tDevice [{i}]: Name={device_name}, Capability={capability}")
else:
print("No CUDA-enabled devices found.")
```
上述代码片段不仅展示了如何查询CUDA版本号及所连结的GPU数量,还进一步获取了每一块图形处理器的名字与计算能力等级信息[^2]。
#### 测试Streamlit应用中的GPU支持情况
考虑到提到过利用Streamlit作为前端展示平台的情况,可以在对应的`.py`文件里加入类似的逻辑以便于实时监控GPU的工作状况:
```python
import streamlit as st
import GPUtil
gpus = GPUtil.getGPUs()
st.write('## GPU Information')
gpu_info = [{'id': gpu.id, 'load': f"{gpu.load*100:.2f}%", 'memory used (MB)': int(gpu.memoryUsed)} for gpu in gpus]
st.table(pd.DataFrame(gpu_info))
```
此部分代码将在Web界面上动态呈现各张显卡的任务负载率和内存占用量统计图表[^3]。
阅读全文
相关推荐


















