必看！11种大模型微调方法详解

导读：大型预训练模型是一种在大规模语料库上预先训练的深度学习模型，它们可以通过在大量无标注数据上进行训练来学习通用语言表示，并在各种下游任务中进行微调和迁移。随着模型参数规模的扩大，微调和推理阶段的资源消耗也在增加。针对这一挑战，可以通过优化模型结构和训练策略来降低资源消耗。

一般来说，研究者的优化方向从两个方面共同推进：

• 一方面，针对训练参数过多导致资源消耗巨大的情况，可以考虑通过固定基础大型语言模型的参数，引入部分特定参数进行模型训练，大大减少了算力资源的消耗，也加速了模型的训练速度。比较常用的方法包括前缀调优、提示调优等。

• 另一方面，还可以通过固定基础大型语言模型的架构，通过增加一个“新的旁路”来针对特定任务或特定数据进行微调，当前非常热门的LoRA就是通过增加一个旁路来提升模型在多任务中的表现。

前排提示，文末有大模型AGI-CSDN独家资料包哦！

接下来，我们将详细介绍11种高效的大型语言模型参数调优的方法。

===

本文目录

• 前缀调优

• 提示调优

• P-Tuning v2

• LoRA

• DyLoRA

• AdaLoRA

• QLoRA

• QA-LoRA

• LongLoRA

• VeRA

• S-LoRA

• 总结

1前缀调优

前缀调优（Prefix Tuning）是一种轻量级的微调替代方法，专门用于自然语言生成任务。前缀调优的灵感来自于语言模型提示，前缀就好像是“虚拟标记”一样，这种方法可在特定任务的上下文中引导模型生成文本。

前缀调优的独特之处在于它不改变语言模型的参数，而是通过冻结LM参数，仅优化一系列连续的任务特定向量（即前缀）来实现优化任务。前缀调优的架构如图1所示。

图1 前缀调优的架构

由于在训练中只需要为每个任务存储前缀，前缀调优的轻量级设计避免了存储和计算资源的浪费，同时保持了模型的性能，具有模块化和高效利用空间的特点，有望在NLP任务中提供高效的解决方案。

2提示调优

提示调