基于阿里云PAI部署LLaMA Factory 完成Llama3低代码微调和部署

最新推荐文章于 2025-05-15 16:59:59 发布
最新推荐文章于 2025-05-15 16:59:59 发布
阅读量2.1k 收藏 23
点赞数 19
CC 4.0 BY-SA版权
文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kun20031029/article/details/138957867

一、引言

阿里云人工智能平台 PAI 提供了面向开发者与企业的深度学习工程平台，其中交互 式建模 PAI-DSW 集成了 Jupyter 等多种云端开发环境，提供丰富的计算资源与镜像环 境，实现开箱即用的高效开发模式。LLaMA Factory 则是一款开源低代码大模型微调框 架，集成了业界最广泛使用的微调技术，支持通过 Web UI 界面零代码微调大模型，目前 已经成为开源社区内最受欢迎的微调框架，GitHub 星标超过 2 万。本教程将基于 Meta AI 开源的 Llama-3 8B 模型，介绍如何使用 PAI 平台及 LLaMA Factory 训练框架完成模 型的中文化与角色扮演微调和评估。

PAI 文档：https://help.aliyun.com/zh/pai/user-guide/getting-started/

LLaMA Factory 开源地址：https://github.com/hiyouga/LLaMA-Factory

二、创建 PAI 实例

2.1 开通 PAI 并创建工作空间

如果您是首次使用 PAI 平台，可以先进入的产品试用页面：阿里云免费试用 - 阿里云，选择PAI-DSW试用点击立即试用，这样就可以有3个月的免费试用期限啦，领取使用就后可以点击前往默认工作空间。

2.2 创建 DSW 实例

进入工作空间后，在左侧选择模型开发与训练-交互式建模，点击新建实例。

填写实例名称，在资源配额中选择GPU规格，这里推荐选择显存24GB的A10 GPU， 即 ecs.gn7i-c8g1.2xlarge 规格

存储配置保持默认，选择官方镜像中的 modelscope:1.14.0-pytorch2.1.2-gpupy310-cu121-ubuntu22.04 镜像，点击下一步，检查信息无误后，点击创建实例

三、安装 L

最低0.47元/天 解锁文章

200万优质内容无限畅学
kun20031029
关注
AI智能体研发之路-模型篇（一）：大模型训练框架LLaMA-Factory在国内网络环境下的安装、部署及使用
Langchain的博客
09-14 1331
今天力荐的项目是LLaMA-Factory，我在去年8月份就开始使用这个项目进行模型部署和微调训练（fine tune），当时各家大模型仅限于推理测试，OpenAI还没有对外提供微调服务，加上这个项目部署丝滑（更新及时，不会出现环境依赖问题，代码逻辑上几乎无错误），觉得好牛啊。现在来看项目已经达到22K星，果然酒深不怕巷子香。
在阿里云上用LLaMA-Factory微调大模型
weixin_72309717的博客
05-31 1487
相信很多小伙伴都想自己手搓大模型，所以有大佬做了LLaMA-Factory，但是有工具还不行，还得有环境，说实话，我现在每天除了上班就是带孩子，连游戏都没得打，所以自己连个有GPU的电脑都没[苦笑]。最后，找到了阿里云，有个DSW的服务，类似谷歌的Colab，目前可以免费包3个月，让你短期尽情手搓大模型，注意这个PAI下面只有DSW是有免费试用，不要尝试去用别的，不要问我怎么知道的。然后，我尝试找国内平替，比如Openl启智社区，用下来感觉不好用，你们可以去试试。好了，工具找到了，下面开始搞事情。
LLaMA-Factory部署
最新发布
技术引领业务创新
05-15 5557
LLaMAFactory是一个用户友好的平台，专为大型语言模型的训练与微调设计，支持多种预训练模型如LLaMA、Mistral、Qwen等。该平台提供多种训练算法和优化技术，包括全参数微调、LoRA微调、GaLore等，以及加速算子如FlashAttention-2。LLaMAFactory支持在线和离线安装，用户可以通过简单的命令行操作完成环境设置和依赖安装。此外，平台还提供了实验面板工具如LlamaBoard和TensorBoard，便于用户监控和优化模型训练过程。通过LLaMAFactory，用户可以
【03】LLaMA-Factory微调大模型——多模型部署
H66778899的博客
07-17 3477
【03】LLaMA-Factory微调大模型——多模型部署
LLaMA Factory 微调框架的部署
OFFTime_we的博客
01-12 1395
在深度学习的浪潮中，预训练大语言模型（Large Language Models, LLMs）逐渐成为各领域的核心工具。然而，由于大规模模型的复杂性和计算资源需求，直接使用这些模型来解决特定任务往往效率低下。微调（Fine-tuning）技术因此成为了模型开发者们的关键手段，通过针对特定任务的数据调整模型的权重，可以大幅提升模型的效果LLaMA（Large Language Model Meta AI）作为近年来大受欢迎的开源大语言模型，因其性能优异和架构灵活被广泛应用。
LLaMA-Factory部署以及微调大模型
qq_35594661的博客
03-05 6567
安装成功后，输入python能出现截图表示安装成功。
本地部署LLaMA-Factory
日暮南城故里的博客
03-14 1852
LLaMA-Factory是一个专注于大模型训练、微调、推理和部署的开源平台。这个平台的设计目标是简化大模型的训练流程，增强模型微调能力，优化推理和部署体验，以及促进社区协作。LLaMA-Factory支持多种模型类型，包括LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi等，并提供了多种训练算法、运算精度、优化算法、加速算子和推理引擎。
LLaMA-Factory安装部署-1
qq_15821487的博客
08-22 1167
对齐训练，大模型对齐训练ppo、dpo、kto，到底是什么意思，是什么的缩写，原理是怎么样的？ 大模型对齐训练中的PPO、DPO、KTO是几种不同的优化算法，它们各自有不同的缩写含义和原理。PPO：即Proximal Policy Optimization（近端策略优化），是一种强化学习算法。PPO通过结合有监督微调（Supervised Fine-Tuning，SFT）和强化学习策略训练阶段，使用显式的逐点奖励函数来训练模型。PPO有助于对齐大型语言模型（LLM）与人类偏好，但也可能导致模型在某些NLP基
本地部署 LLaMA-Factory
engchina的专栏
12-23 1938
本地部署LLaMA-Factory
Windows 系统下本地部署 LLaMA-Factory 成功
engchina的专栏
12-24 2109
Windows 系统下本地部署 LLaMA-Factory 成功
llama-factory一个数据微调用例
05-26
"llama-factory"是一个数据微调的工具或平台，主要与LoRa（Long Range）技术相关，这是一项低功耗广域网通信技术，常用于物联网(IoT)应用。在给定的文件列表中，我们可以看到以下几个关键文件： 1. **dataset_info....
部署微调框架LLaMA-Factory
m0_67876774的博客
06-24 1710
1.我们在ChatGLM3的github官方页面上能看到对LLaMA-Factory的推荐。在Notebook中执行以下代码，拉取LLaMA-Factory项目到DSW实例。运行如下命令，如果显示llamafactory-cli的版本，则表示安装成功。，在工作空间列表页面中单击默认工作空间名称，进入对应工作空间内。在页面左上方，选择DSW实例所在的地域。安装LLaMA-Factory依赖环境。1.看到如下页面就已经部署成功。，进入DSW实例开发环境。页面中，单击快速开始区域。进入DSW开发环境。
部署LLaMA Factory，及快速使用
qq_60245590的博客
04-15 1533
LLaMA Factory 是一个围绕 Meta 的 LLaMA（Large Language Model Meta AI）模型设计的工具或代码结构，主要用于简化模型的创建、管理和部署。
llama3 微调教程之 llama factory 的 安装部署与模型微调过程，模型量化和gguf转换。
热门推荐
失业求捞！
05-17 2万+
本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!
LLaMA-Factory私有化部署 -- PAI-DSW
MilkLeong的博客
07-31 958
LLaMA-Factory的私有化部署与部署大模型的过程大体相同，都包括创建Python虚拟环境、下载项目文件及安装所需的依赖包，但在部署LLaMA-Factory时不需要再安装模型权重文件。LLaMA-Factory的requirements.txt文件包含了项目运行所需的所有Python包及其精确版本，可使用pip一次性安装所有依赖。建议在执行项目的依赖安装之前升级pip的版本，如果使用的是旧版本的pip，可能无法安装一些最新的包，或者可能无法正确解析依赖关系。使用下面的代码进行Pytorch的安装。
服务器部署LLaMAFactory进行LoRA微调
qq_60245590的博客
04-24 2093
仓库已经成功克隆下来了。Factory支持的格式。LLaMA-Factory支持多种格式，对于文本分类任务，我们可以使用alpaca格式。包含了所有可用的数据集。使用刚刚自定义三个数据采集数据集，需要在文件中添加数据集描述，并通过修改配置来使用数据集。现在让我们添加我们的三个自定义数据集。数据已经成功转换并保存到了正确的位置。接下来可以开始使用这些数据进行训练了。
LLama Factory 安装部署实操记录（二）
梦想是要有的，万一实现了呢！
12-20 7089
使用`web_demo.py`，部署网页端示例，报错`RuntimeError: probability tensor contains either `inf`, `nan` or element < 0` · Issue #1642 · hiyouga/LLaMA-Factory · GitHub。（2）另一种说法是，要更新代码，当前测试的是0.4.0版本的源码，未更新，大家有兴趣可以尝试一下，放在评论区。（1）一种说法是，原因是双卡推理，当前的确也出现该问题，A100上正常，双4090有问题。
llama-factory 系列教程 (七)，Qwen2.5-7B-Instruct 模型微调与vllm部署详细流程实战
jieshenai的博客
11-25 1万+
介绍了如何使用该工具进行模型的微调和部署，内容涵盖工具的安装、模型下载、数据集准备、Lora 微调方法、命令行与 YAML 文件配置的训练流程，以及推理测试与多种部署方式。文章以实验流程为线索，结合图文演示，快速上手并高效完成 LLaMA-Factory 的实际应用。
LLaMA-Factory全面指南：从训练到部署
全世界的博客
07-30 9934
LLaMA-Factory项目是一个专注于大模型训练、微调、推理和部署的开源平台。其主要目标是提供一个全面且高效的解决方案，帮助研究人员和开发者快速实现大模型的定制化需求。简化大模型训练流程：通过提供一系列预设的训练脚本和参数配置，降低用户在训练大模型时的技术门槛，使得即使是初学者也能轻松上手。增强模型微调能力：支持多种微调方法，如LoRA、QLoRA等，使用户能够根据特定任务需求对模型进行精细调整，从而提升模型性能。优化推理和部署体验。
阿里云部署llama
01-07
### 如何在阿里云平台上部署 LLaMA 模型 #### 创建并配置PAI平台实例 为了顺利运行LLaMA模型，在阿里云上需先获取必要的计算资源。这可以通过申请阿里云提供的免费试用资源来达成，这些资源足以支撑起初步探索和实验的需求[^1]。 #### 使用ModelScope解决模型下载难题 鉴于HuggingFace对于中国大陆用户的访问限制以及阿里云自带仓库可能存在的下载困难情况，推荐采用ModelScope作为替代方案来进行模型文件的获取工作。具体操作可以参照相关项目中的说明文档执行克隆命令以获得所需的代码库及其依赖项[^3]。 ```bash git clone https://github.com/CrazyBoyM/llama3-Chinese-chat --depth 1 git lfs clone https://www.modelscope.cn/baicai003/Llama3-Chinese_v2.git ``` #### 环境准备与安装必要软件包 确保所选实例具备适合深度学习任务处理能力之后，接下来要做的就是构建合适的虚拟环境，并按照官方指导手册逐步引入Python解释器以及其他必备工具链；与此同时也要注意调整好CUDA版本号使之匹配硬件特性从而保障后续训练过程稳定流畅[^4]。 #### 应用LLaMA Factory简化微调流程 借助于LLaMA Factory这一强大的辅助工具集，即使是没有深厚编程背景的人也能轻松完成针对特定应用场景下的参数优化作业——只需遵循其内置向导提示即可快速启动自定义化改造计划。此过程中特别值得一提的是该套件所提供的图形界面支持功能极大地方便了非技术人员参与进来共同推进项目进展[^2]。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值