大型语言模型中微调和提炼的详细技术比较

于 2025-03-03 15:23:36 发布
阅读量345 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习+AI 文章标签： 自然语言处理 微调 蒸馏 提炼 量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pbymw8iwm/article/details/145844503

目录

概要

介绍

技术背景

微调和参数高效策略

模型提炼

理念的冲突

QLoRA：将量化与低秩自适应相结合

高级量化：不破坏的缩小艺术

4 位量化为何有效

低阶适配器集成：效率的艺术

低秩适应为何有效

QLoRA 为何如此重要：宏观视角

提炼：机制与训练动态

学生永远无法超越老师——可以吗？

训练动态：从阴影中学习

大型数据集的作用

优化挑战：双重损失的双刃剑

蒸馏：必要的权衡？

比较分析：微调与提炼

记忆与计算效率：智能的代价

性能与准确性：情报的完整性

训练动力与稳定性：平衡复杂性的艺术

优先事项问题

混合方法和最佳实践

数据和损失函数策略：精准学习的科学

自适应架构配置：为正确的任务设计正确的模型

动态合并的作用

集成训练流程：循环学习的模型

为什么这在现实世界中很重要

人工智能的未来在于智能效率

结论和未来方向

概要

大型语言模型 (LLM) 彻底改变了人工智能，使其能够在各种自然语言处理 (NLP) 任务中实现最先进的性能。然而，其巨大的规模对计算效率、适应性和部署可行性提出了挑战。两种主要技术——微调和提炼（蒸馏）——已成为关键的优化策略。微调，尤其是像QLoRA这样的参数高效形式，有助于领域适应，同时减轻计算开销。相比之下，提炼将大型教师模型压缩为更小、更高效的学生模型，从而优化推理速度和资源使用率。

虽然传统上将微调和提炼视为独立的方法，但最近的进展表明，结合微调和

了解本专栏 订阅专栏 解锁全文 超级会员免费看
博客
揭秘人工智能和机器学习中的模型蒸馏
02-25 197
想象一下，训练一个庞大的神经网络——一个能够诊断疾病、驾驶自动驾驶汽车或生成类似人类的文本的庞然大物——却发现部署如此庞大的模型就像试图驾驶一辆油箱很小的跑车跑马拉松一样。这种较高的温度会产生更平滑、更具信息量的分布，揭示硬性独热标签无法捕捉的“暗知识”（类别之间的微妙关系）。这段旅程——从早期的“暗知识”到生成式人工智能的现代应用——提醒我们，即使是最大的模型也可以被驯服和改进，把巨人变成短跑运动员。的工作为大量研究奠定了基础，提供了将深度神经网络的功能压缩为更易于部署且成本更低的灵活模型的蓝图。
博客
【中级篇】深研究：与Dify建立研究自动化应用
02-19 837
通过利用Dify的功能，可以大大减少在手动研究上花费的时间和精力，同时轻松地将多搜索工作流程适应各种主题，API或数据源。那么在这里我推荐大家使用Dify，它是一个用于LLM应用程序开发的低代码，开源平台，它通过自动化工作流程的多步搜索和有效汇总来解决此问题，仅需要最小的编码。在本文中，我们将创建“ Deepresearch”，该工具可以协调搜索，生成关键字并将结果汇​​总到最终的结果中。迭代节点将在每次迭代的结论结束时启动下一个搜索回合，或者如果该过程确定已经收集了足够的信息，则将终止该过程。
博客
【中级篇】借助DeepSeek R1与开源低代码平台Dify，实战演练快速打造企业级多语种文档翻译解决方案
02-18 309
然后在 Iteration 节点内添加节点，由于 LLM 无法直接读取上传文档的内容，因此需要添加 Document Extractor，将文档内容转换为 LLM 可以读取的文本，Document Extractor 的输入变量为 Start 节点中的文件 file。在Start节点中我们设置了一个文件列表，为了避免重复构建工作流节点，Dify引入了迭代节点，在迭代节点中，工作流会将所有列表类型的变量全部执行完毕并分别输出。如果想进一步开发应用的前端界面，可以参考Dify的API文档，点击右侧的“
博客
【高级篇】了解 DeepSeek-R1 中的强化学习
02-11 863
在本文中，我们将探索理解 DeepSeek-R1 所必需的 RL 基本方面，深入研究 RL 在 LLM 中的应用方式，分析近端策略优化 (PPO) 在先前模型中的作用，讨论其局限性，并解释为什么在 DeepSeekMath 中引入了组相对策略优化 (GRPO) 并随后应用于 DeepSeek-R1。与在 RL 之前依赖监督微调 (SFT) 的传统方法不同，DeepSeek-R1 仅使用 RL (DeepSeek-R1-Zero) 进行训练，从而能够发展自我改进的推理技能。修改了传统的 RL 方法。
博客
DeepSeek Janus Pro 论文解析
02-08 879
介绍业界还在适应最近发布的震惊人工智能界的 DeepSeek-R1。但不久之后，DeepSeek 又发布了另一个出色的开源模型。这一次，它是一个可以与其他顶级多模态模型相媲美的。在这篇文章中，我们将解释 DeepSeek Janus Pro 背后的研究论文，标题为“要理解这篇论文，我们还需要解释 DeepSeek 之前的论文，该论文介绍了早期的 Janus 模型版本，标题为：“不需要有关原始 Janus 论文的先验知识。新论文以前一篇论文为基础，我们将在这篇文章中对两者进行解释。
博客
解析 DeepSeek-R1 训练过程——无需博士学位
02-08 1503
例如 (i) 冷启动数据奠定了结构化基础，解决了可读性差等问题，(ii) 纯 RL 几乎可以在自动驾驶仪上进行推理 (iii) 拒绝采样 + SFT 与顶级训练数据一起使用以提高准确性，以及 (iv) 另一个最终 RL 阶段确保了额外的泛化水平。示例：在对“2 + 2 =”这样的提示进行训练时，模型会因输出“4”而获得 +1 的奖励，而对于任何其他答案则获得 -1 的惩罚。OpenAI 一直对自己的方法秘而不宣，而 DeepSeek 则采取了相反的做法——公开分享他们的进展，并因坚持开源使命而赢得赞誉。
博客
【高级篇】DeepSeek R1 详解：思维链、强化学习和蒸馏
02-08 761
DeepSeek R1 是由中国研究团队开发的新型大型语言模型。它意义重大，因为它在数学、编码和科学推理等复杂任务上表现出与 OpenAI 01 等领先模型相当的性能。该模型的创新，特别是在使用强化学习和模型蒸馏方面，可能会使人工智能更加高效和易于使用。
博客
【入门级篇】DeepSeek R1 简单指南：架构、训练、本地部署和硬件要求
02-05 5715
vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B — tensor-parallel-size 2 — max-model-len 32768 — force-eager 等命令可用于精简版本。虽然 DeepSeek-R1-Zero 证明了纯强化学习是可行的，但 DeepSeek-R1 展示了如何将监督学习与强化学习相结合来创建一个更强大、更实用的模型。Ollama 提供不同尺寸的模型 — 基本上，更大的模型等于更智能的 AI，但需要更好的 GPU。
博客
最新的纯真数据库 qqwry.dat下载和使用（golang，php，python，js等语言调用代码）
01-03 715
纯真数据库是一个用于IP地址查询的数据库，主要用于确定一个IP地址所属的地理位置。它包含了全球范围内的IP地址段与对应的地理位置信息。纯真数据库可以通过IP地址来快速地确定该IP地址的所属地理位置，如国家、省份、城市等信息。纯真数据库的应用场景非常广泛，比如用于网页统计分析、广告投放、电子商务、网络安全等领域。它可以帮助企业确定用户的地理位置，从而进行更精准的市场推广；也可以用于对恶意IP地址的监控和封禁，提高网络安全性。纯真数据库由纯真网络公司维护和更新，用户可以通过购买授权来获取最新的数据库文件。
博客
Unity中RTS游戏的设计模式处理： 游戏中的对象选择和命令委托的基本框架
11-06 1万+
单个集中类（例如，）跟踪当前选择的单元/对象，并处理用于选择游戏中对象的任何光线投射逻辑。可选对象附加了一个组件，其中公开了一个公共函数，该函数返回一个实现该接口的类。类实现特定于控制单个单元的自定义逻辑。这是通过一个公共函数完成的，每次玩家单击一个新对象时都会调用该函数。当玩家单击屏幕时，单个类会进行光线投射，以获取有关单击哪个对象的信息。该类还跟踪当前正在控制的单元，并将新单击的对象提供给该单元的控制逻辑。如果没有选择任何内容，我们将尝试选择接下来单击的对象。
博客
redis数据库备份,回档,迁移工具使用
06-24 1235
相信很多服务器开发者或者运维同学都遇到过这样的场景，比如我要从阿里云的redis集群把数据迁移到另外一个账号下的或者另外一个云服务商的redis集群，或者单机，或者哨兵模式redis实例，那么这种情况下我推荐给大家一款非常好用的工具，可以无缝的从A集群/单机/哨兵/已有的数据库rdb文件 迁移到 B集群/单机/哨兵模式下的实例中。
博客
如何配置googleplay谷歌后台的Auth登陆和支付权限
04-24 9836
相信很多谷歌开发者在谷歌平台发布过app产品，如果你接入过登陆和支付，那么你对下面的后台配置步骤以及服务器如何使用这些参数来进行校验并不陌生，这篇文章我将分享给大家关于如何在后台配置你上架应用的登陆权限和支付权限，服务器端如何使用相应的参数来做验证。
博客
internet.getUserEncryptKey提示错误
04-22 4万+
大家好，相信你看到标题的时候，你应该是遇到这样的麻烦事情，微信小游戏的官方文档的说明不够全面，所以导致开发者在开发过程中会遇到非常棘手的问题，但无奈的是官方给与的只有冷冰冰的文字，包括很多开发者在开发者平台留言自己遇到的问题，比如常见的这个：internet.getUserEncryptKey提示错误或者那么这篇文章我来给大家解释下正确的用法应该是什么样的（我们已经解决了，但微信官方文档一直没有更新细节）。
博客
游戏服务器架构：游戏服务端如何支持百万玩家同时在线
04-12 2万+
用通俗的方法来描述一个好的服务端架构，最基础也是最重要的就两点： 支持百万玩家同时在线，不出问题。这两点也就分别对应了高并发和高可用。这篇文章系统的介绍游戏服务端中的高并发和高可用。高并发和高可用是一个相辅相成的工作，当我们支持百万玩家同时在线时却无法保证服务器的稳定可用，那高并发支持就无从谈起；而如果当玩家数量较多时服务器就常常出问题，那也不能称为高可用。
博客
代理服务器：转发代理和反向代理是如何工作的？
04-02 5万+
这意味着如果多个用户请求相同的内容，代理可以从其缓存中提供该内容，而不是每次都从外部服务器获取内容，从而缩短加载时间并减少带宽。客户端向特定网址发送请求，反向代理将该请求转发到其背后的适当服务器。：关心隐私的个人可能会使用转发代理来隐藏他们访问的网站的 IP 地址和其他识别信息，从而难以跟踪他们的 Web 浏览活动。：它们将传入的网络流量分布在多个服务器上，确保没有任何一台服务器获得过多的负载，并防止任何服务器成为瓶颈。本质上，它接收来自客户端的请求，将其转发到相关服务器，然后将服务器的响应返回给客户端。
博客
Meta 如何将缓存一致性提高到 99.99999999
04-01 5万+
鲍勃、玛丽和爱丽丝。在这种情况下，当 TAO 副本查询 BOB 和 Mary 所在的区域时，它们的数据不一致，它会将消息发送到没有 Alice 消息的区域。绕过缓存的查询可能是计算密集型的，并且还可能使数据库面临风险，因为保护数据库和扩展读取繁重的工作负载是缓存的两个最常见的用例。根据定义，缓存不保存数据的真实来源，因此当真实来源中的数据发生更改时，应该有一个主动使过时缓存条目失效的过程。从元的角度来看，缓存不一致几乎与数据库中的数据丢失一样糟糕，从用户的角度来看，它们可能会导致非常糟糕的用户体验。
博客
GeoLite2 geoip数据库下载和使用
03-27 8万+
GeoLite2 数据库是免费的 IP 地理定位数据库，与MaxMind 的 GeoIP2 数据库相当，但准确度较低。GeoLite2 国家、城市和 ASN 数据库 每周更新两次，即每周二和周五。GeoLite2 数据还可作为 GeoLite2 Country 和 GeoLite2 City Web 服务中的 Web 服务提供。GeoLite2 Web 服务的用户每天每项服务的 IP 地址查找次数限制为 1000 次。
博客
掌握 Unity 中的状态机：综合指南
03-21 1171
最后，将拥有一个由状态机驱动的功能齐全的播放器控制器，可以集成到自己的项目中。此外，状态机有助于实现复杂的人工智能、玩家控制、动画系统等，从而形成更强大、更灵活的游戏架构。状态机是计算机科学和游戏开发中的一个基本概念，它通过定义一组有限的状态及其之间的转换来模拟实体的行为。你可以定义常见的状态行为，例如 Enter、Update 和 Exit 方法，确保整个状态机架构的一致性和连贯性。由于前面提到的状态类扩展了 BaseState 类，因此我们可以为具有不同状态的不同对象创建单独的类。
博客
90 道系统设计面试题及答案
02-23 1432
CDN 通过缓存和提供距离用户最近的服务器的内容来提高性能，从而减少延迟。算法的选择取决于特定的系统要求，例如处理相等的服务器负载（循环法）、最小化响应时间（最少连接）或提供服务器权重以实现更好的资源分配（加权循环法）。它是通过允许更新按照自己的节奏在系统中传播，最终达到一致的状态来实现的。最终一致性与强一致性的不同之处在于，它不保证立即数据一致性，但提供了改进的系统响应能力和容错能力的好处。有状态通信维护请求之间的会话数据，适用于维护上下文至关重要的情况，例如在实时应用程序或具有复杂工作流程的会话中。
博客
SOLID 原则：增强面向对象编程 (OOP)
02-22 997
SOLID 原则是增强面向对象编程的设计和结构的基本准则。通过遵守这些原则——单一职责、开放/封闭、里氏替换、接口隔离和依赖倒置——开发人员可以创建更加模块化、可扩展和可维护的代码。在本文中，我们将深入研究 SOLID 原则——单一职责、开放/封闭、里氏替换、接口隔离和依赖反转——并探讨它们如何通过实际代码示例提升 OOP 代码的设计和结构。它促进创建小型的、特定于客户端的接口，而不是大型的、单一的接口。通过遵守 ISP，我们可以防止不必要的方法和依赖项对客户端代码的污染，从而实现更干净、更集中的界面。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值