JustinMars的博客

本文介绍了launcher.py脚本的训练参数配置选项，主要包括模型加载、量化、数据处理和导出等关键参数设置。模型相关参数支持指定预训练模型路径、适配器配置、词表调整和注意力机制选择等功能；量化参数提供多种量化方法（bnb/gptq/awq等）和位宽设置；数据处理参数涵盖图像/视频/音频的预处理选项；导出参数支持模型量化导出和格式转换。此外还包括数据集处理、评估指标和训练策略等配置选项，为模型训练和推理提供全面的参数控制。

qwen3微调

推荐方案：如果你现在是在 conda 环境里（llm_train），最简单、最干净的做法就是。

如下载deekseek-r1。

永久设置，编写/etc/sysctl.conf文件，修改参数。若docker compose版本过低，更新。不满足要求，临时重设参数。

摘要： 群体相对策略优化(GRPO)是一种创新强化学习算法，通过组内响应比较优化策略。其核心特点包括：(1)无价值网络依赖，通过生成G个候选响应并计算归一化奖励作为优势值；(2)结合PPO的裁剪机制和KL正则项确保训练稳定性；(3)目标函数包含策略比值、裁剪优势和KL惩罚项。实验证明，GRPO在多智能体环境中能有效提升策略性能，计算效率优于传统PPO。实现上，算法循环执行数据收集(并行生成候选)、群体优势计算(归一化奖励)、策略梯度更新(含裁剪)等步骤，适用于语言模型强化和协同智能体训练场景。

大型模型增强学习中，PPO、DPO、DRPO和DDPG是核心算法。PPO通过截断策略更新实现稳定优化，广泛应用于RLHF；DPO简化流程，直接利用偏好数据优化策略；DRPO增强奖励鲁棒性，应对噪声和不确定性；DDPG则结合策略和价值网络处理连续动作空间。这些算法分别从稳定性、效率、鲁棒性和连续性角度推动大型模型与人类偏好的对齐。

多模态下智能数字人的开发是一个复杂且系统性的工程，它融合了人工智能（AI）、计算机图形学、自然语言处理（NLP）、语音技术、计算机视觉（CV）等多个前沿领域。

AI智能合同审核系统基于AI大模型构建，旨在自动解析商务合同，识别法律风险点（如权责失衡、条款模糊等），并通过企业合规数据库比对提供专业修改建议。采用“预训练大模型+RAG+领域微调”架构，包含数据层（合同库、合规知识库）、预处理模块（文本解析、条款分类）、核心AI层（法律领域微调模型、风险识别）及审核报告生成模块。系统工作流程涵盖合同上传、风险识别、合规比对、修改建议生成及可视化报告输出。关键挑战包括法律数据稀缺性、模型幻觉问题等，将通过专家合作、RAG增强等技术应对。实

KTO旨在通过优化知识从预训练模型向微调模型的转移过程，使得微调后的模型能够更好地遵循人类指令，提高模型在特定任务上的性能，同时保持模型的泛化能力。它主要关注如何在微调过程中有效地利用预训练模型的知识，减少过拟合，增强模型与人类期望输出的对齐程度。

摘要：指令微调（SFT）通过标注数据优化大语言模型的任务性能，而参数高效微调（PEFT）技术（如LoRA）仅调整少量参数即可实现高效训练。两者结合能在降低计算成本的同时提升模型指令遵循能力。实际应用中，需准备高质量指令数据集（如Alpaca），选择基座模型（如Llama3），并借助LLaMA-Factory或Hugging Face TRL等工具实现SFT与PEFT的协同优化，典型流程包括数据预处理、LoRA配置和模型训练。

Milvus 2.4 开始原生支持 Hybrid 查询，可以直接用关键词 + 向量同时搜！Qdrant 支持 “filter + vector” 的查询，很丝滑。→ 先关键词召回，再向量检索排序，或者两者结合。

Milvus 支持混合检索，即同时进行向量检索和基于关键词或其他属性的过滤。通过在查询时使用 `expr` 参数，你可以轻松地将关键词过滤与向量相似度检索结合起来，以实现更精确和高效的数据检索。

使用 DeepSeek 模型（如）进行微调，可以分为几个关键步骤，下面以 DeepSeek-LLM 为例说明，适用于 Q&A、RAG、聊天机器人等方向的应用。

模式描述特点应用场景稀疏召回关键词匹配快速、精准但语义弱传统检索稠密召回向量相似度语义强、可扩展QA/RAG混合召回稀疏+稠密提升Recall覆盖通用RAG多模态召回图文检索等支持多模态输入图文问答生成式召回LLM生成检索线索灵活、可控指令召回LLM控制检索流程可解释、复杂推理多跳QA/Agent。

模块作用Embedding 模型把文本和问题转成向量向量数据库存储所有 chunk 向量 + 元信息相似度计算查询问题向量与数据库向量的“距离”Top-k 检索取出最相似的几个文本，拼接输入给 LLM。

内在幻觉是指模型生成的文本在形式上通顺、语法正确，但其内部逻辑结构不一致或语义推理存在错误。此类幻觉不依赖外部知识或输入背景，即使在无事实参照的生成任务中也可能出现。外在幻觉是指模型生成的文本与外部事实、上下文输入或知识源不一致，即模型在已有语义输入（如上下文、文档、图像或知识库）条件下，仍生成了与之矛盾或无关的信息。

矢量搜索正在从文本扩展到图像、视频、音频等领域，并成为多模态 AI 系统的底层“感知引擎”。图像矢量搜索的研究与实践，是构建下一代智能搜索与生成系统的关键支柱。掌握其底层机制与工程最佳实践，对于构建可靠、高效的 AI 应用至关重要。

模型幻觉指的是大型语言模型（LLMs）生成的内容与客观事实不符或者缺乏合理逻辑依据的现象。这是当前大模型应用中面临的一个关键问题，会严重影响模型输出的可信度和实用性。例如在问答系统中，模型可能会给出不存在的事件细节或者错误的知识信息。内在幻觉是指模型在生成内容时，由于自身知识理解和推理的局限，产生与已知事实冲突或者在语义逻辑上不合理的表述，不涉及外部知识检索。这种幻觉源于模型内部的参数和训练方式，使得它在处理输入时无法准确地表达真实信息。外在幻觉通常与RAG（检索增强生成）系统相关。

Hugging Face 通过提供预训练模型、数据集、以及推理和训练工具，极大地简化了自然语言处理任务的开发。无论是初学者还是经验丰富的研究人员，Hugging Face 都为 NLP 项目提供了极大的便利。如果你正在进行自然语言处理或机器学习任务，Hugging Face 是一个非常值得关注的平台。

- **Transformers** 是一种强大的架构，专为自然语言处理任务设计，提供了大量预训练模型，广泛应用于文本生成、机器翻译、文本分类等任务。- **PyTorch** 是一个灵活、动态的深度学习框架，适合研究和原型开发，尤其在计算机视觉和强化学习领域应用广泛。- **Keras** 是一个高层次的深度学习库，简化了模型构建和训练的流程，适合快速原型开发，通常与 TensorFlow 配合使用。

层归一化和批量归一化都是，目的是让训练更稳定、收敛更快，但应用场景和工作方式大不相同。

Transformer 架构是现代大模型的基石，下面我从结构、原理、多头自注意力、位置编码四个方面做一个清晰的解释。Transformer 由 编码器（Encoder） 和 解码器（Decoder） 两部分组成：每个 Encoder Block 包含两层：加上：结构类似于 Encoder，但多了一层：以文本生成为例：注意力机制的核心是：当前词应该关注哪些其它词，通过加权求和的方式融合信息。公式核心：[Attention(Q,K,V)=softmax(QK⊤dk)V][ \text{Attention}(Q

对大模型进行优化，可以从多个层面入手，包括等方向。下面我从这几个维度详细展开，并列举常用的优化策略和工程实践。

评估大模型（如大语言模型 LLM）的性能是一个多维度的问题，常常需要结合多个指标从不同角度来考察模型的能力。

BERT 采用 Transformer 编码器（Transformer Encoder），使用。来学习文本中的长距离依赖关系。不同于 LSTM 或传统 RNN，Transformer 允许。在 BERT 之前，许多 NLP 预训练方法（如 Word2Vec、GloVe）都是基于。，显著提升了自然语言理解（NLU）任务的表现。，导致模型无法充分利用句子中的全局信息。学习文本信息，从而更好地理解句子中的每个单词。，在 NLP 领域取得了革命性的突破。BERT 解决了这些问题，通过。

模型量化是指将神经网络中的权重、激活值及计算过程从高精度（如 32-bit 浮点数, FP32）转换为低精度（如 8-bit 整数, INT8），从而减少存储和计算负担，提高推理速度。

其核心思想是利用教师模型的知识指导学生模型的训练，以在保持性能的同时大幅减少计算资源需求。未来，随着深度学习技术的发展，知识蒸馏仍将继续发挥重要作用，并与其他模型优化方法结合，实现更高效的 AI 计算。：教师模型的输出通常是一个经过 Softmax 处理的概率分布，而不仅仅是硬标签。：在某些方法中，教师模型的梯度信息也可以作为指导信号，提高学生模型的优化效率。，学生模型），以此来减少模型的计算量和存储需求，同时尽可能保持较高的性能。：学生模型可以学习教师模型的隐藏层表示，以增强其表达能力。

语言大模型（如GPT系列）和计算机视觉大模型（如CLIP、YOLO等）在处理和存储大量高维数据时，通常使用向量数据库。向量数据库能够高效地存储和检索高维向量表示（embeddings），这些向量通常是通过深度学习模型（如BERT、ResNet等）生成的。随着大模型（LLM、VLM）的发展，向量数据库在存储、检索和高效查询嵌入向量方面发挥了关键作用。以下是常见的向量数据库及其在语言和计算机视觉大模型中的使用场景。使用场景：增强搜索引擎的功能，可以同时进行传统的文本搜索和基于向量的相似度搜索。

语言大模型（如OpenAI的GPT系列，DeepSeek等）完成问答任务的实现流程涉及多个步骤，包括数据处理、模型训练、推理、生成回答等环节。

将音频向量化是将音频数据转化为适合机器学习算法处理的向量表示的过程。这个过程通常涉及从原始音频信号中提取特征，并将这些特征转化为数字向量。

过拟合是机器学习中常见的问题，特别是当模型复杂度较高或训练数据量较少时。为了避免模型过度依赖训练数据中的噪声，采取一些有效的防止过拟合的方法非常重要。以下是几种常见的防止过拟合的技术，包括等，并对它们进行详细的介绍与对比。

早停（Early Stopping）简介早停是一种正则化技术，目的是在训练过程中避免模型过拟合。过拟合通常发生在模型在训练数据上表现很好，但在未见过的新数据上表现很差的情况。早停可以帮助我们在模型开始过拟合之前停止训练，从而提高模型的泛化能力。

梯度剪裁在模型微调中的作用非常重要，它能够帮助我们避免因梯度爆炸导致的不稳定训练过程，尤其是在大规模预训练模型微调中，使用梯度剪裁可以有效提高模型训练的稳定性和收敛速度。

针对语言大模型（如GPT、BERT等）进行微调时引入**权重衰减**（Weight Decay）正则化技术，主要目的是防止过拟合并提高模型在新任务上的泛化能力。对于语言模型的微调，权重衰减可以通过优化模型训练的过程，确保模型不会过度依赖训练数据中的特定模式，尤其是在数据较少的情况下。下面是权重衰减在语言大模型微调中的应用和注意事项。

Tokenization（分词）是自然语言处理（NLP）中一个非常重要的步骤，它的目标是将文本转换为模型可以理解的格式。对于像GPT、BERT等大型预训练模型来说，tokenization决定了文本如何转化为数字表示，从而影响模型在不同任务中的表现。接下来我会深入介绍tokenization的过程、不同的tokenization方法，以及它与模型微调（fine-tuning）之间的关系。

微调 T5 (Text-to-Text Transfer Transformer) 模型是一个在许多自然语言处理（NLP）任务中非常有效的技术。T5 是由 Google 提出的，它将所有的 NLP 任务都转化为文本到文本的格式，类似于“输入文本 -> 输出文本”的框架。微调 T5 主要是根据特定的任务（例如分类、生成、翻译等）对其进行定制，以提高模型在特定任务上的表现。

通过灵活的链（Chains）、工具（Tools）和代理（Agents）机制，LangChain使得集成不同的数据源和模型变得更加简单，能够广泛应用于聊天机器人、问答系统、智能搜索、自动化文档处理等领域。链的构建允许你以流水线的方式进行任务的处理，例如，输入文本通过一系列的步骤处理后，最终得到一个输出结果。这些工具可以在链中作为步骤的一部分使用，让语言模型可以与外部系统进行交互，从而增强模型的功能。根据应用的复杂度和需求，你可以选择合适的方式来维护和管理上下文，使得系统能够生成更具相关性和一致性的结果。

BRET结合了BERT和区域化图像特征的优势，使用Transformer架构有效地处理视觉和文本的联合任务。它适用于多模态任务，尤其是在视觉问答、图像字幕生成等应用中，表现出色。通过区域化的图像特征和强大的文本表示能力，BRET能够实现图像和文本的深度对齐，提升多模态任务的表现。

LoRA（Low-Rank Adaptation）是一种高效的模型微调方法，它通过对预训练语言模型的权重矩阵进行低秩分解，仅调整少量的低秩矩阵，从而在保持较高性能的同时，显著降低了计算和内存消耗。它适用于资源有限的场景，尤其是大规模预训练模型的微调，能够加速训练过程并节省计算资源。