LLaMA-Factory环境安装-重点总结

丁兆海1991

已于 2024-06-17 14:23:27 修改

阅读量3.1k

点赞数 3

CC 4.0 BY-SA版权

文章标签： llama 人工智能深度学习

于 2024-05-14 18:45:01 首次发布

本文链接：https://blog.csdn.net/Ding_zhaohai/article/details/138864839

问题：在使用官网介绍的博客，进行安装，比较顺利。只不过，在需要推理加速时，UI界面上，给出的选项所支持的FlashAttention-2和Unsloth，不好实现。在进行一系列的调整，总结如下：

想要同时实现FlashAttention-2和Unsloth推理加速的环境安装方式：

以Ubuntu22.04 RTX4090 24GB为例：

1. 系统配置：CUDA版本选择12.2.x，因为高版本的flash-attn库不提供12.1版本的安装包：

## cuda 
export PATH=/usr/local/cuda-12.2/bin:$PATH
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-12.2/lib64

2. 虚拟环境创建：python版本选择3.10.x，使用官方推荐的安装方式：

conda create -n llama_factory python=3.10 -y

3. 首先安装LLaMA-Factory官方提供的环境安装内容：

pip install -e .[torch,metrics,bitsandbytes]

备注：torch版本为2.3.x，后续根据变化调整为对应版本

4. 然后安装flash-attn库，版本号含有cu122torch2.3cxx11abiFALSE：

pip in

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

丁兆海1991

关注关注

3
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【实战】LLaMA-Factory 如何做 LLM 的多轮对话微调

kakaZhui的博客

04-01

652

LLaMA-Factory 作为一个广受欢迎、易于使用的 LLM 微调框架，为开发者提供了便捷的途径来针对特定任务（包括多轮对话）优化模型。本文将深入探讨 LLaMA-Factory 如何支持多轮对话微调，涵盖其基本概念、数据准备、核心机制、评估方法等。简单来说，多轮对话是指包含两个或更多轮次（Turn）的交互过程，其中每一轮通常包含用户的一个输入和模型的一个输出。后续轮次的回应通常依赖于前面轮次的对话内容。模型需要理解并记忆对话历史。

LLM 推理并发不够怎么解？基于 LLaMA-Factory 的模型量化实战指南

kakaZhui的博客

05-07

171

想象一下，你部署的 LLM 应用在高峰期响应缓慢、用户请求大量排队甚至超时失败——这不仅严重影响用户体验，更可能直接导致业务损失。造成并发瓶颈的核心原因之一，就是 LLM 推理本身对计算资源（尤其是 GPU 显存和计算单元）的巨大消耗。那么，当我们的 LLM 推理服务并发告急时，该如何应对？除了增加硬件投入（这往往成本高昂），模型量化 (Model Quantization)是一种在不显著牺牲（有时甚至能略微提升）性能的前提下，有效降低模型显存占用、提升推理速度，从而间接提高并发处理能力的关键技术。

参与评论您还未登录，请先登录后发表或查看评论

【AI时代】可视化训练模型工具LLaMA-Factory安装与使用

浩瀚宇宙的一粒尘埃

02-21

1914

一款进行模型可视化训练、推理的神器。

【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建

H66778899的博客

07-16

2862

【02】LLaMA-Factory微调大模型——LLaMA-Factory搭建

LLaMA-Factory安装教程（详细版）

最新发布

weixin_57293476的博客

05-08

1350

本机显卡双3090使用wsl中ubuntucuda==12.4python==3.12.4（python安装不做赘述，有需要我会另开一篇文章）

LLaMa Factory 安装

weixin_63373973的博客

02-15

979

【代码】LLaMa Factory 安装。

LLamaFactory安装(五步搞定)

Ven%的博客

12-04

2258

LLamaFactory安装(五步搞定)

LLaMA-Factory安装部署-1

qq_15821487的博客

08-22

1136

对齐训练，大模型对齐训练ppo、dpo、kto，到底是什么意思，是什么的缩写，原理是怎么样的？大模型对齐训练中的PPO、DPO、KTO是几种不同的优化算法，它们各自有不同的缩写含义和原理。PPO：即Proximal Policy Optimization（近端策略优化），是一种强化学习算法。PPO通过结合有监督微调（Supervised Fine-Tuning，SFT）和强化学习策略训练阶段，使用显式的逐点奖励函数来训练模型。PPO有助于对齐大型语言模型（LLM）与人类偏好，但也可能导致模型在某些NLP基

【环境安装】安装LLaMA-Factory

小博客大智慧

01-17

2184

【机器背景说明】Linux-Centos7；显卡驱动：Driver Version: 460.106.00；【目标环境说明】

Llama-factory详细基础使用说明

dtl6540158的博客

10-08

1万+

对于初入算法的童鞋来说，有的可能还不知道llama-factory是什么，只知道大模型用到了这个框架，这是不行的。LLaMA-Factory 是一个低代码的大规模语言模型（LLM）训练框架，它主要面向研究人员和开发者，旨在简化大型语言模型的微调、评估和部署过程。白话说就是集合了当下LLM领域各种好用的开源或者自研的框架以及工具，进行封装以及优化，简化使用方法，方便大家对大模型进行微调和评估部署等工作，降低了使用难度。包括推理框架vllm等（具体可以看官网哈，下面有地址）易用性 vs. 性能。

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

03-11

嗯，用户想克隆指定深度的GitHub仓库，具体是LLaMA-Factory仓库，使用git clone --depth 1。那我需要先确认用户的需求，可能是想快速下载仓库的最新版本，不需要完整历史记录，节省时间和空间。首先，用户提供的几...

大模型开发和微调工具Llama-Factory--＞安装

weixin_46034279的博客

12-01

753

【代码】大模型开发和微调工具Llama-Factory--＞安装。

llama3 微调教程之 llama factory 的安装部署与模型微调过程，模型量化和gguf转换。

热门推荐

失业求捞！

05-17

2万+

本文记录了从环境部署到微调模型、效果测试的全过程，以及遇到几个常见问题的解决办法，亲测可用（The installed version of bitsandbytes was compiled without GPU support. NotImplementedError: Architecture ‘LlamaForCausalLM’ not supported!

LLama Factory 安装部署

qq_17204557的博客

03-29

361

【代码】LLama Factory 安装部署。

【免费下载】 LLaMA-Factory 安装和配置指南

gitblog_07033的博客

09-13

1924

LLaMA-Factory 安装和配置指南 LLaMA-Factory 易于使用的LLM微调框架（LLaMA, BLOOM, Mistral, 百川， Qwen, ChatGLM）。项目地址: https://gitcode.c...

LLAMA-Factory安装教程（解决报错cannot allocate memory in static TLS block的问题）

qq_36344652的博客

02-06

1183

昇腾环境下安装LLAMA-Factory的教程

LLaMA - Factory安装部署及微调流程

qq_43588095的博客

03-27

2907

deepspeed、bitsandbytes、vllm、flash - attn等属于可选依赖。例如deepspeed可减少内存消耗，适用于内存资源有限的情况，但可能会使训练时间拉长。即便不安装这些可选依赖，LLaMA - Factory依然能够完成微调任务。

windows电脑上安装llama-factory实现大模型微调

qq_37587269的博客

03-02

4167

这是官方给的llama-factory安装教程，，上面介绍了linux系统上以及windows系统上如何正确安装。大家依照安装步骤基本能够完成安装，但是可能由于缺少经验或者相关的知识导致启动webUi界面运行相应内容时会报各种错误。特别需要注意的是：一定要有英伟达的显卡。如果没有显卡的GPU加速，模型的训练时间是非常长的。

Windows下安装LLama-Factory

lx15983596831的博客

07-16

3751

在进行安装前，请先确认你的GPU能支撑起训练的显存。如果和可怜的我一样是4GB可以选择上云或者换一个好一点的显卡。注意nvidia-smi不一定是你的版本，我也被坑了一次，然后重新装了一遍。

设置mfc checkbox为选中状态

05-27

如果你想通过 MFC 编程来设置 Checkbox 的选中状态，可以使用 CButton 类的 SetCheck 函数。例如，假设你有一个名为 m_checkbox 的 CButton 对象，你可以这样设置它为选中状态： ```cpp m_checkbox.SetCheck(BST_CHECKED); ``` 其中，BST_CHECKED 是一个宏定义，表示选中状态。如果你想设置 Checkbox 为未选中状态，可以使用 BST_UNCHECKED 宏。例如： ```cpp m_checkbox.SetCheck(BST_UNCHECKED); ``` 如果你想获取 Checkbox 当前的选中状态，可以使用 CButton 类的 GetCheck 函数。例如： ```cpp int nCheck = m_checkbox.GetCheck(); if (nCheck == BST_CHECKED) { // Checkbox 已选中 } else if (nCheck == BST_UNCHECKED) { // Checkbox 未选中 } ``` 其中，GetCheck 函数返回一个整数值，可以是 BST_CHECKED、BST_UNCHECKED 或 BST_INDETERMINATE（表示不确定状态）。你可以根据返回值来判断 Checkbox 的当前状态。