本地私有化部署大模型

原创

已于 2025-03-30 22:46:27 修改 · 1.3k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#人工智能 #python #深度学习

于 2025-03-23 23:30:59 首次发布

一、魔塔社区平台

1.1 魔塔简介

阿里魔塔社区（ModelScope）是阿里巴巴推出的一个开放平台，专注于AI模型的共享与应用
核心功能

模型下载：提供大量预训练模型，用户可直接下载使用。

在线体验：部分模型支持在线测试，无需本地部署。

模型训练与微调：支持用户基于现有模型进行二次训练。

社区互动：用户可分享使用心得、提出问题或参与讨论。
访问地址：魔搭社区

1.2 下载模型

推荐使用命令行或者 ModelScope SDK 来进行模型的下载，模型一般都放在数据盘的模型目录下

以通义千问2.5-0.5B-Instruct模型为例

下载前安装modelscope

In [ ]:

#激活python虚拟环境
#conda activate /mnt/data/env/vllm
#安装modelscope命令
#!pip install modelscope

命令行方式：modelscope download --model Qwen/Qwen2.5-0.5B-Instruct --local_dir ./mnt/data/models/

In [ ]:

#SDK方式
#模型下载
#from modelscope import snapshot_download
#model_dir = snapshot_download('Qwen/Qwen2.5-0.5B-Instruct',cache_dir="/mnt/data/models/")

模型下载功能代码

In [ ]:

import time
import os
import sys

def download_model(model_name, save_path):
    # 记录开始时间
    start_time = time.time()
    print(f"开始下载: {model_name}")
    print(f"开始时间: {time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(start_time))}")

    try:
        # 使用 snapshot_download 下载模型
        from modelscope import snapshot_download
        model_dir = snapshot_download(model_name, cache_dir=save_path)
        print(f"模型已下载到: {model_dir}")

        # 记录结束时间
        end_time = time.time()
        print(f"下载完成: {model_name}")
        print(f"结束时间: {time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(end_time))}")

        # 计算下载用时
        download_time = end_time - start_time
        print(f"下载用时: {download_time:.2f} 秒")
    except Exception as e:
        print(f"下载失败: {e}")

def check_model_exists(model_name, save_path):
    """
    检查本地是否已经存在该模型。
    """
    model_dir = os.path.join(save_path, model_name)
    if os.path.exists(model_dir):
        print(f"模型 '{model_name}' 已存在于本地路径: {model_dir}")
        choice = input("是否继续下载并覆盖本地数据？(y/n): ").strip().lower()
        if choice != "y":
            print("下载已取消。")
            sys.exit(0)
        else:
            print("