LoRA微调

程序员一粟

于 2025-07-04 19:57:24 发布

阅读量895

点赞数 14

CC 4.0 BY-SA版权

文章标签：深度学习人工智能 python 开发语言 ai 产品经理大模型

本文链接：https://blog.csdn.net/jennycisp/article/details/149124163

从新的角度看待大模型微调

一切要从最近大火的Lora（《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》）说起，该文章在ICLR2022中提出。说的是利用低秩适配(low-rank adaptation)的方法，可以在使用大模型适配下游任务时只需要训练少量的参数即可达到一个很好的效果。

LoRA是怎么去微调适配下游任务的？流程很简单，LoRA利用对应下游任务的数据，只通过训练新加部分参数来适配下游任务。而当训练好新的参数后，利用重参的方式，将新参数和老的模型参数合并，这样既能在新任务上到达fine-tune整个模型的效果，又不会在推断的时候增加推断的耗时。

LoRA的示意图如下：

LoRA微调_初始化

图中蓝色部分为预训练好的模型参数，LoRA在预训练好的模型结构旁边加入了A和B两个结构，这两个结构的参数分别初始化为高斯分布和0，那么在训练刚开始时附加的参数就是0。A的输入维度和B的输出维度分别与原始模型的输入输出维度相同，而A的输出维度和B的输入维度是一个远小于原始模型输入输出维度的值，这也就是low-rank的体现（有点类似Resnet的结构），这样做就可以极大的减少待训练的参数了。在训练时只更新A，B的参数，预训练好的模型参数是固定不变的。在推断时可以利用重参数(reparametrization)思想，将AB与W合并，这样就不会在推断时引入额外的计算了。而且对于不同的下游任务只需要在预训练模型基础上重新训练AB就可以了，这样也能加快大模型的训练节奏。

由于本文不具体介绍LoRA，所以详细信息可以查看LoRA原文。我们只需要知道LoRA文章后续的实验已经论证该方法的有效性。那么进一步思考，为什么LoRA的这种思路能work的不错呢？

答案就是接下来要讲的Intrinsic dimension了。这点LoRA原文也提到过，该文章灵感来源于下面两篇文章：

MEASURING THE INTRINSIC DIMENSION OF OBJECTIVE LANDSCAPES, 发表在ICLR2018，为了方便接下来该论文称为【论文1】
INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGE MODEL FINE-TUNING, 发表在ACL2021，为了方便接下来该论文称为【论文2】

本征维度（Intrinsic dimension）定义

本征维度的概念在由【论文1】提出。

训练一个神经网络往往包含如下几步：

对于一个给定的数据集，先设计网络的结构和选择对应的loss
对网络中的参数进行随机的初始化
训练网络使得loss越来越低

而训练阶段可以认为是在一个固定的目标图（objective landscape）上，寻找出有效的路径。

这里解释一下为什么是固定的目标图。因为在数据集和网络结构固定下来后，待优化的问题就已经定义好了，所以目标图也就是确定的了。

如下图所示：

LoRA微调_初始化_02

LoRA微调_泛化_03

也就是说可以在训练网络时只更新d维参数，就可以达到该网络应有的效果。那么这个d就是所谓的该模型的本征维度。

这里讲完可能还有点晕，我们看一下如下这张图：

LoRA微调_人工智能_04

使用本征维度思考大模型微调的有效性

【论文2】将之前提出的本征维度用来思考大模型微调的有效性，为什么现在用几百或者几千张图片就可以对大模型进行有效的微调？

根据【论文1】阐述，对于某一类问题，在一定精度上（比如达到90%的精度）有本征特征的存在。对于大模型而言，进行本征维度的测试就能知道在解决某一类下游问题时，需要调整多少参数就能近似的解决当前的问题。如果真的有实验能证明仅仅调整少数的参数就能很好的解决下游问题，那么也就能回答上述问题，即对大模型做少量的微调（调整少量的参数），就能解决当前的问题。

下面无特殊说明的话，“文章”指的都是【论文2】

实验一：对于大模型而言，是否存在本征维度

LoRA微调_数据集_05

实验结果如下图所示：

LoRA微调_人工智能_06

上下两个子图分别表示MRPC和QQP两个任务，每个子图有四条实线表示四个模型的准确率，四条虚线表示达到fine-tune整个模型90%的准确率的值，横坐标表示训练d维的大小。从图中可以看出两个任务，四个不同的模型，只需要训练较小的d维参数就可以达到90%的精度。本征维度这个概念在大模型中是成立的。

所以在训练某个下游任务时，只需要训练少量参数就能达到不错的效果了。这时文章开头的问题就已经解决了。但是作者做了一些其他的实验，发现了一些有意思的结论。

预训练的好坏与本征维度的关系

文章提出这样一个假设，预训练模型能够隐式的降低模型在NLP各个任务的本征维度。

基于这个猜想，文章做了下面实验，在预训练RoBERTa-base模型的时候，每隔10K保存下对应的预训练模型，然后测试保存下来的预训练模型在MRPC, QQP, Yelp Polarity,SST-2, MNLI,ANLI六个数据集本征维度。

结果如下：

LoRA微调_泛化_07

可以看出，在不同数据集上，有相同的趋势，就是预训练次数越多，模型在各个任务上的本征维度越低。实验并没有特意去优化所谓的本征维度，只是预训练久一点而已。所以印证了预训练模型的表征能力越强（训练的越好）本征维度越小。

预训练模型参数与本征维度的关系

本来在做预训练参数与本征维度关系的时候，需要统一模型的结构，这样更有说服力。但是作者说，这样要训练很多大模型的实验，为了更方便的对比文章根据已有的结构来做实验。从实验结果的趋势来看，不同结构也能得到有效的结论。

文章利用已有的预训练模型，在MRPC数据集上计算本征维度。

实验结果如下：

LoRA微调_数据集_08

上图中纵坐标表示本征维度的值，很坐标表示模型的参数量。从图中的趋势可以明显看出，模型越大本征维度越小，即越强的模型本征维度越低。

本征维度与泛化能力的关系

上面介绍了fine-tune(3.1)、预训练（3.2）和本征维度的关系，但本征维度与泛化能力的关系还没有验证。即我们现在知道了让本征维度小的方式，但是本征维度小了，泛化能力就能上去吗？

LoRA微调_初始化_09

可以看出本征维度低的模型，训练出来的模型准确率是更高的。也就是说本征维度越低，泛化性能越好。

回到引言的问题：为什么LoRA思路能work？

因为大模型存在本征维度的概念，只需要调整少量参数就能在下游任务上得到很好的效果。

大模型岗位需求

大模型时代，企业对人才的需求变了，AIGC相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好，希望能够真正帮助到大家。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用