Something AI

Wuerselen

已于 2025-08-23 09:31:41 修改

阅读量125

点赞数

CC 4.0 BY-SA版权

分类专栏： AI 文章标签： ai

于 2022-11-29 11:14:54 首次发布

本文链接：https://blog.csdn.net/pandoraliu/article/details/128094328

AI 专栏收录该内容

1 篇文章

订阅专栏

检查CUDA 是否可用

import torch
print(torch.cuda.is_available())

DeepSeek (As example)

Github DeepSeek

本机部署参考 DeepSeek-V3

create new env

D:\Workspace\MyPy\deepseek_ai\DeepSeek-V3> C:/Users/Thin/AppData/Local/Programs/Python/Python310/python.exe -m venv deepsee-env source deepseek-env/bin/activate

install dependency

不要用requirment.txt 手动安装里面的包，因为triton 在WIN上不能直接支持pip

(deepsee-env) PS D:\Workspace\MyPy\deepseek_ai\DeepSeek-V3\inference> pip install -r requirements.txt

Triton - WIN 基本装不上 - 各种search 以后
Windows 下安装 triton 教程

pip install https://github.com/woct0rdho/triton-windows/releases/download/v3.1.0-windows.post5/triton-3.1.0-cp310-cp310-win_amd64.whl

然后 pip install

transformers==4.46.3
safetensors==0.4.5

用 huggingface 直接下载模型文件如何下载huggingface模型到本地
先pip 安装一下huggingface 的库 pip install huggingface_hub
ENV 环境下不成功，直接退出ENV，用原始的python 环境下载
使用上面文章中给的py code

from huggingface_hub import hf_hub_download, list_repo_files
import os
from tqdm import tqdm

# 设置 Hugging Face 仓库路径
repo_id = "deepseek-ai/DeepSeek-R1-Distill-Qwen-32B"
# 设置本地保存路径
local_dir = "./DeepSeek-R1-Distill-Qwen-32B"

# 创建本地文件夹（如果不存在）
os.makedirs(local_dir, exist_ok=True)

# 获取仓库中的所有文件
file_list = list_repo_files(repo_id=repo_id, repo_type="model")

# 初始化 tqdm 进度条
pbar = tqdm(file_list, desc="下载进度", unit="file", colour="green")

# 逐个下载文件
for file in pbar:
    pbar.set_description(f"正在下载: {file}")
    hf_hub_download(
        repo_id=repo_id,
        filename=file,
        repo_type="model",
        local_dir=local_dir,
        local_dir_use_symlinks=False,
        resume_download=True,
    )

# 关闭进度条
pbar.close()

print(f"模型文件已下载到: {local_dir}")

 C:/Users/Thin/AppData/Local/Programs/Python/Python310/python.exe .\download_deepseek_model.py

按照DS自己给的提示，建立.py
修改本地模型路径

from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "./DeepSeek-R1-Distill-Qwen-14B"  # 模型本地路径
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto")

prompt = "如何做西红柿炒鸡蛋？"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_length=200)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

运行 python test.py
出现如下提示
DSrunTest1
一直pending在这个界面，感觉太慢了，下个1.5B的Model 来测试一下先。速度是可以的，但是内容质量还是很差的。 DSrunTest1.5B

Searched from OTHER AI anwers:
DeepSeek 警告你未能找到 MSVC 和 Windows SDK，这意味着你的系统缺少一些必要的组件，可能会影响 DeepSeek 的性能或某些功能。
- MSVC (Microsoft Visual C++)
作用： MSVC 是一套由微软提供的开发工具，主要用于编写 C、C++ 和 C++/CLI 代码。它包含编译器、链接器、库和其他工具，是 Windows 平台上重要的开发环境。
DeepSeek 中的作用： DeepSeek 可能使用 MSVC 来编译和优化某些代码，以提高运行效率或实现特定的功能。
- Windows SDK (Software Development Kit)
作用： Windows SDK 包含用于 Windows 应用程序开发的头文件、库、工具和文档。它提供了访问 Windows API 的接口，让开发者能够利用 Windows 的各种功能。
DeepSeek 中的作用： DeepSeek 可能需要 Windows SDK 来调用 Windows API，例如访问文件系统、网络或图形界面等。
缺少 MSVC 和 Windows SDK 的影响
- 性能下降： DeepSeek 在某些任务上的运行速度可能会变慢。
- 功能受限： DeepSeek 的某些功能可能无法正常使用。
- 兼容性问题： DeepSeek 可能无法在某些 Windows 系统上运行。
正确安装 MSVC 和 Windows SDK

下载 Visual Studio： 前往 Microsoft Visual Studio 官网 下载 Visual Studio Community 版本（免费）。
安装组件： 在 Visual Studio 安装程序中，选择“使用 C++ 的桌面开发”工作负载。这将自动安装 MSVC 和 Windows SDK。你也可以在“单个组件”选项卡中选择安装特定版本的 MSVC 和 Windows SDK。
验证安装： 安装完成后，打开 Visual Studio，创建一个新的 C++ 项目，并尝试编译运行。如果一切正常，说明 MSVC 和 Windows SDK 已经成功安装。
注意事项
版本选择： 根据 DeepSeek 的要求选择合适的 MSVC 和 Windows SDK 版本。通常，较新的版本会提供更好的性能和兼容性。
安装路径： 确保将 MSVC 和 Windows SDK 安装在默认路径下，避免 DeepSeek 找不到它们。
环境变量： 安装完成后，可能需要配置环境变量，将 MSVC 和 Windows SDK 的路径添加到系统中。

https://visualstudio.microsoft.com/zh-hans/downloads/

DeepSeek R1 模型部署快速指南

安装CUDA

打开NVIDA任务栏图标，或者直接开始菜单里面开
NvidaVerCheck1
NvidaCUDAverCheck1
https://developer.nvidia.com/cuda-toolkit-archive
download and install
NvidaCUDAdownload
CUDA安装教程

DEBUG

VENV print(torch.cuda.is_available()) == False

(venv_minimind) PS D:\Workspace\MyPY\test\AI> & C:/Users/Thin/AppData/Local/Programs/Python/Python310/python.exe .\test_cuda.py
True
(venv_minimind) PS D:\Workspace\MyPY\test\AI> python .\test_cuda.py
False

虚拟环境下，cuda available 失败了。主要还是没有安装正确的 Torch 版本来支持 CUDA 的版本。
因为是根据 requirment 文件安装的 LIB。
检查 torch 版本，重新安装解决问题

(venv_minimind) PS D:\Workspace\MyPY\test\AI> pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124