LLM：微调大模型的评估

最新推荐文章于 2025-06-27 21:42:09 发布
最新推荐文章于 2025-06-27 21:42:09 发布
阅读量3.7k 收藏 23
点赞数 7
CC 4.0 BY-SA版权
分类专栏： LLM 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43814415/article/details/140823902

微调了一个垂直大模型，要判断其好坏，怎么做才算科学的？

一、客观测试集评测

训练的时候，就划分了训练集、验证集、测试集，6:3:1.
验证集用于观察有没有过拟合，一般来说是loss；测试集是在训练完成后测试模型的能力，可以自己设置各种指标。

在大模型微调后，使用测试集进行客观评测，一般来说是下面这样：

{
    "predict_bleu-4": 27.806828685897436,
    "predict_rouge-1": 36.388832131410254,
    "predict_rouge-2": 13.097188060897436,
    "predict_rouge-l": 24.604292788461535,
    "predict_runtime": 2245.6039,
    "predict_samples_per_second": 0.553,
    "predict_steps_per_second": 0.035
}

1.BLEU-4

意义：BLEU (Bilingual Evaluation Understudy) 是一种常用的机器翻译质量评价指标。它通过计算生成文本和参考文本之间的 n-gram 精确度来衡量生成文本的质量。BLEU-4 特别关注 4-gram 的匹配情况，可以较好地反映句子的语法和流畅度。
请添加图片描述

2.ROUGE-1

意义：ROUGE (Recall-Oriented Understudy for Gisting Evaluation) 用于评估生成文本和参考文本的覆盖度。ROUGE-1 计算的是 1-gram（即单个词）的召回率，反映了生成文本在多大程度上覆盖了参考文本中的词汇。

请添加图片描述

3.ROUGE-L

请添加图片描述

针对通用的，有很多客观测试集，司南提供了简便的使用，可以参考https://blog.csdn.net/qq_43814415/article/details/138289322

二、主观评测

客观评测虽然能够从指标上评断模型的各项知识、长文本等能力，但是无法贴近真实的场景。很多模型都号称在指标上逼近或超过gpt4，但是实际用下来很差。

主观评测的方式：
两个模型针对同一问题生成回复，人工选择。可以是计算正确率，还有elo分数。

竞技场Elo：利用Bradley-Terry模型，基于历史匿名对战数据估计的大模型竞技场Elo等级分数。
如：https://rank.opencompass.org.cn/leaderboard-arena

请添加图片描述

详解大模型微调数据集构建方法(持续更新)
herosunly的博客
06-05 27万+
本文详细介绍了大模型微调数据集构建方法，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 微调数据集构建方法 2.1 方法一 2.2 方法二 2.3 方法三 2.4 方法四
知识图谱与 LLM：微调与检索增强生成
洛阳泰山的博客
07-14 1285
Midjourney 的知识图谱聊天机器人的想法。大型语言模型 (LLM) 的第一波炒作来自 ChatGPT 和类似的基于网络的聊天机器人，这些模型在理解和生成文本方面非常出色，这让人们（包括我自己）感到震惊。我们中的许多人登录并测试了它写俳句、动机信或电子邮件回复的能力。很快我们就发现，法学硕士不仅擅长生成创造性背景，还擅长解决典型的自然语言处理和其他任务。LLM 炒作开始后不久，人们就开始考虑将其集成到他们的应用程序中。
大模型微调、优化与评估（什么是大模型，知识外挂RAG，前缀微调prefix-tuning，低秩适应方法LoRA、QLora，微调方法对比总结，迁移学习，领域适应，评估指标BLEU、ROUGE）
zhuai.blog.csdn.net
11-01 1554
大模型的出现就是一次生产力的进步，本文深入探讨大模型微调、优化与评估技术，尤其微调和领域适应，通过详尽实例、图表和清晰解释什么是检索知识增强RAG、指令微调低秩适应方法LoRA以及他的改进版QLora，让复杂概念易于理解。微调技术涵盖知识注入和指令微调，以实际案例展示RAG方法增强信息检索。文中进一步介绍迁移学习的原因与分类及适用场景、评估标准（如BLEU和ROUGE）。
大模型应用开发之评估
weixin_46516647的博客
05-29 835
以基础的二分类任务为例，如下混淆矩阵，真正例（True Positive, TP）表示预测类别为正的正样本、假正例（False Positive, FP）表示预测类别为正的负样本、真负例（True Negative, TN）表示预测类别为负的负样本、假负（FalseNegative, FN）表示预测类别为负的正样本。给模型一段自然语言描述的需求（比如“写一个计算斐波那契数列的函数”），看它能不能生成正确的、可执行的代码。如果模型给测试集中的句子分配了较高的概率，说明它很好地捕捉了语言的规律，预测能力强。
大模型预训练、微调、强化学习、评估指导实践
FeelTouch Labs
05-20 1198
本文概述了大模型训练工具、核心训练方法及DeepSeek大模型训练实战手册。主流训练工具包括Megatron-LM、DeepSpeed、HuggingFace Transformers等，适用于不同规模和场景的模型训练。核心训练方法涵盖预训练、微调和强化学习，分别通过无标注数据学习通用语言表示、调整模型参数以适应特定任务，以及优化生成内容质量。DeepSeek大模型训练实战手册详细介绍了预训练、领域微调和强化学习优化的具体步骤和配置，提供了解决显存不足、训练不收敛和多机通信瓶颈的调优技巧。最后，文章总结了训
微调大语言模型后，如何评估效果？一文讲清
最新发布
Harry的博客
06-27 590
衡量生成文本和参考答案的相似度人工评估维度（很重要）：相关性（回答是否切题）流畅性（语言是否自然）事实正确性（有没有瞎编）多样性（避免重复答复）微调后我会从三方面评估模型效果：技术层面：看验证 loss 是否收敛、perplexity 是否下降，并对比 BLEU/ROUGE 分数业务层面：通过 A/B 测试看用户满意度、转人工率、任务完成率是否改善人工评估：结合专业标注人员从准确性、流畅性等维度打分如果是部署场景，我还会监控推理效率和资源占用，确保模型能稳定上线。
【06】LLaMA-Factory微调大模型——微调模型评估
H66778899的博客
07-19 9448
【06】LLaMA-Factory微调大模型——微调模型评估
大模型微调典型评价指标简记
消极的人永远是对的，积极的人选择勇往直前
03-30 2132
在大模型微调过程中，评价指标的设定是为了精确衡量模型在特定任务上的表现，以便判断微调的效果和指导进一步的优化。选择合适的评价指标至关重要，因为它们直接影响到对模型性能的理解、比较和决策。确定微调任务的具体类型，如分类、回归、序列标注、问答、生成任务等。每种任务类型有其适用的一组或几组核心评价指标。
【2024最新】深入了解 大语言模型（LLM）微调方法（总结）
m0_48891301的博客
05-06 3474
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。即更新模型所有权重的过程，被称为全微调。需要注意的是，与预训练一样，全微调需要足够的内存和计算预算来存储和处理训练过程中的所有梯度、优化器和其他更新组件。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。
总结！大模型微调（Tuning）的常见方法
zenRRan的博客
12-29 3186
作者：爱吃牛油果的璐璐，北京大学 电子与通信工程硕士，推荐广告从业者编辑：青稞AI前言微调是指调整大型语言模型（LLM）的参数以适应特定任务的过程。这是通过在与任务相关的数据集上训练模型来完成的。所需的微调量取决于任务的复杂性和数据集的大小。在深度学习中，微调是一种重要的技术，用于改进预训练模型的性能。除了微调ChatGPT之外，还有许多其他预训练模型可以进行微调。快来！NLP论文投稿、LLM交流...
打造自己的大模型｜02篇LoRA微调大模型的评测和导出
Langchain的博客
08-23 1454
在之前的的文章《打造自己的大模型｜01篇LLaMA-Factory微调Llama3和其占用资源分析》，我们通过训练了9.5小时，完成了Llama3-8B-Instruct的LoRA。本篇文章，我们将继续利用LLaMA-Factory，进行大模型的评测和导出。
2025年大语言模型（LLM）微调方法最全总结！
小分享
01-02 1292
2025年大语言模型（LLM）微调方法最全总结！
【从零开始大模型开发与微调】AI 人工智能大语言模型 LLM：语言与思维——实践的融合
AI天才研究院
07-04 2982
在人工智能领域，大语言模型（Large Language Models, LLMs）已经取得了令人瞩目的成就。这些模型基于深度学习，通过在大量文本数据上预训练学习语言知识，被广泛应用于各种自然语言处理（NLP）任务，如图像描述、对话系统、翻译、摘要生成等。但这些模型的性能和表现，特别是其对语言和思维的理解，仍存在诸多困惑和疑问。大语言模型（LLMs）：指基于深度学习技术，通过在大量文本数据上预训练学习语言知识，能够理解和生成自然语言的大规模模型。自监督学习。
从零构建 AI Agent：LLM 大模型应用开发实践
AI天才研究院
12-03 1181
AI Agent（人工智能代理）是一个能够感知环境、做出决策并采取行动以实现特定目标的智能系统。它是人工智能研究和应用的核心概念之一，代表了我们在创造能够自主运作的智能实体方面的努力。感知器（Sensors）：用于感知环境状态的组件。执行器（Actuators）：用于在环境中执行动作的组件。决策单元（Decision-making unit）：根据感知到的信息做出决策的核心组件。数学上，我们可以将 AI Agent 表示为一个函数ffffP→AfP→A其中PPP。
【LLM】金融场景的大模型Lora微调实战
发现问题，并解决问题，批判性思维
07-08 9329
金融行业需要垂直领域LLM，因为存在金融安全和数据大多数存储在本地，在风控、精度、实时性有要求 （1）500亿参数的BloombergGPT BloombergGPT金融大模型也是用transformer架构，用decoder路线， 构建目前规模最大的金融数据集FINPILE，对通用文本+金融知识的混合训练。 用了512块40GB的A100 GPU，训练中备份了4个模型，每个模型分了128块GPU。 （2）度小满5月的【源轩大模型】 使用hybrid-tuning方式，首个千亿参数金融大模型 在通用能力评测
大模型LLM-微调
whaosoft143ai的博客
10-08 194
可设置参数包含train_path、model_dir、num_train_epochs、train_batch_size、gradient_accumulation_steps、output_dir、prompt_text、pre_seq_len、prompt_text等， 可根据自己的任务配置。大型语言模型横行，之前非常焦虑，现在全面拥抱。时间换空间，可用很好的解决显卡的资源问题，简单玩玩还可以，如果想要模型达到最优效果或可用快速看到效果，还不如租张A100卡，快速实验，推理阶段再用自己的小破卡。
如何评估模型微调的效果
charles666666的博客
04-12 1158
通过结合客观指标（如准确率、BLEU）和主观判断（如人工对比），可以全面评估模型是否真正适配任务需求。对于新手，推荐从LLaMA-Factory等低代码工具入手，快速验证效果。评估模型微调效果的核心目标是判断微调后的模型是否在特定任务上比原始预训练模型表现更好。四、工具实战示例（以LLaMA-Factory为例）“用训练集教模型，用验证集调参数，用测试集定胜负”。二、客观评估方法（代码友好型）三、主观评估方法（人工判断型）高级指标（自然语言处理常用）五、常见误区与优化建议。一、评估前的准备工作。
大模型微调七步法：让模型更懂你
bugyinyin的博客
11-15 1069
近年来，自然语言处理 (NLP) 领域取得了重大进展，这主要得益于 OpenAI 的 GPT 系列等大型语言模型 (LLM) 的涌现。这些强大的模型彻底改变了我们处理自然语言任务的方式，在机器翻译、情感分析和自动文本生成等方面取得了突破性进展。由此催生了大量与自然语言处理相关的 AI 初创团队和产品。
通过哪些性能指标来评估微调后的大模型实际业务效果？【大模型行业应用落地系列】
2401_85343303的博客
11-04 1316
评估微调后的大模型在实际业务场景中的效果是一个综合、多维度的过程，涉及到一系列关键性能指标的深入考量。这些指标包括但不限于准确率、精确度、召回率、F1分数、响应时间、抗扰动能力、计算效率、均方误差、R方值、数据隐私、用户满意度和成本节省等。每一个指标都从不同角度出发，全面评估了模型的预测准确性、运行效率、稳定性、可理解性以及经济效益，映射出模型在实际业务中的表现和价值。在应用这些指标进行评估时，关键在于根据具体的业务需求和场景选择适合的指标组合，形成一个全面的评估体系。
微调大模型怎么评估微调大模型怎么评估
03-11
<think>好的，我现在需要回答用户关于如何评估微调大模型的问题。首先，我得理清楚用户的需求，他们可能是在进行模型微调后，想知道有哪些评估方法和指标，以及具体的步骤和注意事项。用户可能是研究人员或开发者，所以需要详细但结构清晰的解释。 首先，我应该回顾自己了解的知识。微调大模型通常是在预训练模型的基础上，用特定领域的数据进行进一步训练。评估这部分模型的效果，需要从多个方面考虑，比如任务性能、泛化能力、过拟合情况、计算效率等。 接下来，我需要确定回答的结构。用户希望结构清晰，逐步解决问题。所以可能需要分点说明，每个评估维度下再细分指标或方法。例如，任务相关指标、泛化能力评估、过拟合检测、效率分析、人类评估、对比实验、偏差和安全性等。 然后，每个部分需要详细说明。例如，任务相关指标根据任务类型不同而不同，比如分类任务用准确率、F1值，生成任务用BLEU、ROUGE等。这里要确保术语正确，并且用例子帮助理解。 泛化能力方面，可能需要交叉验证，或者使用不同的测试集，比如领域外数据。过拟合则通过比较训练集和验证集的表现差异来判断。计算效率涉及训练和推理时间，以及资源消耗，这对实际应用很重要。 人类评估容易被忽略，但特别是生成任务中，自动指标可能不足，需要人工评价相关性、流畅性等。对比实验包括与原模型或其他方法的比较，确保微调确实带来了提升。 此外，还要考虑偏差和安全性，特别是在敏感领域，模型是否产生有害内容。长期评估可能涉及模型的持续表现和适应性。 在写作过程中，要使用中文，数学公式用$...$，独立公式用$$...$$。例如，准确率公式写成$$准确率 = \frac{正确预测数}{总样本数}$$，保持LaTeX正确。同时，结构要清晰，分点列出，每个部分用小标题，帮助用户理解。 需要检查是否有遗漏的重要评估方法，比如参数效率或数据效率，这些可能在某些情况下相关。另外，确保每个评估步骤都有实际意义，不仅仅是理论上的指标，而是实际操作中的考量。 最后，总结评估流程，强调综合多种方法的重要性，避免片面。同时提醒用户根据具体任务选择合适的评估策略，确保全面性和可靠性。</think>评估微调后的大型语言模型需要从多个维度综合考量，以下是分步骤的评估框架： --- ### 一、任务相关性能指标 根据下游任务类型选择评估指标： 1. **分类任务** - 准确率：$$准确率 = \frac{正确预测数}{总样本数}$$ - F1值：$$F1 = \frac{2 \times 精确率 \times 召回率}{精确率 + 召回率}$$ 2. **生成任务** - BLEU：衡量生成文本与参考文本的n-gram重叠率 - ROUGE：通过召回率评估生成内容的关键信息覆盖率 3. **回归任务** - 均方误差：$$MSE = \frac{1}{N}\sum_{i=1}^{N}(y_i - \hat{y}_i)^2$$ --- ### 二、泛化能力评估 1. **交叉验证** 使用$k$-fold交叉验证（如$k=5$），确保模型在不同数据划分下表现稳定 2. **领域外测试** 用未参与训练的其他领域数据测试，例如：用新闻数据微调的模型测试社交媒体文本 --- ### 三、过拟合检测 1. 对比训练集与验证集表现 - 若验证集指标显著低于训练集（如差异超过15%），可能过拟合 2. 监控损失曲线 - 理想情况：训练损失与验证损失同步下降 - 过拟合标志：验证损失在后期上升 $$损失差 = \mathcal{L}_{train} - \mathcal{L}_{val}$$ --- ### 四、计算效率分析 | 指标 | 计算公式 | 评估意义 | |---------------|------------------------------|--------------------------| | 训练时间 | 单epoch耗时 | 资源成本 | | 推理延迟 | 单样本平均响应时间 | 实际部署可行性 | | 显存占用 | GPU显存峰值 | 硬件需求 | --- ### 五、人类评估（针对生成任务） 组织人工评审，评估以下维度： 1. 相关性（0-5分） 2. 事实准确性 3. 语言流畅度 4. 有害内容比例 --- ### 六、对比实验设计 1. **基线对比** - 与原预训练模型对比 - 与其他微调方法（如LoRA、Adapter）对比 2. **消融实验** 通过控制变量分析各改进模块的贡献度 --- ### 七、偏差与安全性评估 1. 使用BOLD等数据集检测人口属性偏见 2. 对抗测试：注入敏感词或误导性指令，检测有害输出概率 --- ### 八、长期稳定性评估 1. 持续学习能力测试 2. 领域迁移适应性（如季度性数据更新后的表现） --- #### 评估流程建议 ```mermaid graph TD A[确定评估目标] --> B[选择任务指标] B --> C[划分测试集] C --> D[运行基准测试] D --> E[分析过拟合风险] E --> F[计算资源效率评估] F --> G[人工评估] G --> H[对比实验] H --> I[安全性检查] ``` 通过上述多维度评估，可全面衡量微调模型在性能、效率、安全性等方面的表现。实际应用中需根据任务需求动态调整评估重点，例如医疗领域需加强事实准确性评估，客服场景则侧重响应延迟优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

灵海之森

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值