HuggingFace PEFT 项目快速入门指南：参数高效微调技术解析

最新推荐文章于 2025-06-02 09:02:18 发布

原创最新推荐文章于 2025-06-02 09:02:18 发布

· 246 阅读

版权

HuggingFace PEFT 项目快速入门指南：参数高效微调技术解析

peft 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning. 项目地址: https://gitcode.com/gh_mirrors/pe/peft

什么是PEFT？

PEFT（Parameter-Efficient Fine-Tuning）是HuggingFace推出的参数高效微调技术库，专门用于解决大模型微调过程中的资源消耗问题。在传统微调方法中，我们需要对整个预训练模型的所有参数进行更新，这对于拥有数十亿参数的大模型来说，计算成本和存储需求都变得难以承受。

PEFT通过引入多种参数高效微调方法，仅训练模型中的一小部分参数，就能达到接近全参数微调的效果。这种方法显著降低了计算资源需求，使得在消费级硬件上微调大模型成为可能。

PEFT核心方法

PEFT主要支持以下几种参数高效微调方法：

LoRA（Low-Rank Adaptation）：通过低秩分解技术，在原始权重旁添加可训练的低秩矩阵
Prefix Tuning：在输入序列前添加可训练的前缀向量
Prompt Tuning：类似Prefix Tuning，但仅针对输入层进行调整
Adapter：在Transformer层间插入小型神经网络模块

这些方法共同的特点是仅需训练原模型参数量的0.1%-5%，就能获得不错的微调效果。

实战：使用LoRA微调大模型

下面我们以LoRA方法为例，展示如何使用PEFT库微调一个序列到序列的大模型。

1. 配置LoRA参数

首先需要创建LoRA的配置对象，指定关键参数：

from peft import LoraConfig, TaskType

peft_config = LoraConfig(
    task_type=TaskType.SEQ_2_SEQ_LM,  # 指定任务类型为序列到序列语言模型
    inference_mode=False,             # 训练模式
    r=8,                             # 低秩矩阵的秩
    lora_alpha=32,                   # 低秩矩阵的缩放因子
    lora_dropout=0.1                 # LoRA层的dropout率
)

关键参数说明：

r：决定了低秩矩阵的大小，值越小训练参数越少，但可能影响模型性能
lora_alpha：控制LoRA权重对原始权重的调整强度
lora_dropout：防止过拟合的正则化手段

2. 加载基础模型并应用PEFT

from transformers import AutoModelForSeq2SeqLM
from peft import get_peft_model

# 加载预训练的大模型
model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/mt0-large")

# 应用PEFT配置
model = get_peft_model(model, peft_config)

# 查看可训练参数占比
model.print_trainable_parameters()

执行后会输出类似以下内容：

trainable params: 2,359,296 || all params: 1,231,940,608 || trainable%: 0.19

这表明我们仅需训练原模型0.19%的参数，大大降低了计算需求。

3. 训练模型

PEFT模型可以像普通Transformer模型一样使用各种训练方式。以下是使用Trainer API的示例：

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="./lora_output",
    learning_rate=1e-3,
    per_device_train_batch_size=32,
    num_train_epochs=2,
    evaluation_strategy="epoch"
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    tokenizer=tokenizer
)

trainer.train()

4. 保存与共享模型

训练完成后，PEFT模型可以高效地保存：

# 本地保存
model.save_pretrained("lora_output")

# 上传到模型中心
model.push_to_hub("your-username/mt0-large-lora")

PEFT模型仅保存适配器权重，通常只有几MB大小，而完整的原始模型可能有几百MB甚至几GB。

推理：使用PEFT模型

加载PEFT模型进行推理非常简单：

from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer

model = AutoPeftModelForCausalLM.from_pretrained("your-username/opt-350m-lora")
tokenizer = AutoTokenizer.from_pretrained("facebook/opt-350m")

inputs = tokenizer("今天天气真好，", return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=50)
print(tokenizer.decode(outputs[0]))