swift微调多模态大语言模型

已于 2024-05-06 09:46:45 修改
阅读量2.1k 收藏 15
点赞数 21
CC 4.0 BY-SA版权
分类专栏： 多模态大语言模型 文章标签： 语言模型 LVM 多模态
于 2024-05-05 15:50:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012193416/article/details/138466599
本文档详细介绍了使用Swift进行多模态大语言模型微调的参数和选项，包括数据格式、微调方式、模型选择、训练策略、评估指标等。讨论了--dataset和--custom_train_dataset_path的区别，并提供了训练脚本和配置参数的示例，帮助用户理解和优化微调过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

微调训练数据集指定方式的问题请教 · Issue #813 · modelscope/swift · GitHubQwen1.5微调训练脚本中，我用到了--dataset new_data.jsonl 这个选项， 可以训练成功，但我看文档有提到--custom_train_dataset_path这个选项，这两个有什么区别呢，是不是对自己生成的数据集用--dataset new_data.jsonl 这种方式是不对的，但是为什么又确实训练成功了呢（至少模型确实学习到了训练资料中的知识） # Experimental environment: A100 # 2*40GB GPU me...icon-default.png?t=N7T8https://github.com/modelscope/swift/issues/813

了解本专栏 订阅专栏 解锁全文 超级会员免费看
swift微调牧歌数据电商多模态大语言模型
liguandong
06-11 1191
大规模中文多模态评测基准MUGE_数据集-阿里云天池多模态理解和生成评估挑战榜（MUGE）是由阿里巴巴达摩院智能计算实验室发起，由阿里云天池平台承办，并由浙江大学、清华大学等单位共同协办。 Mhttps://tianchi.aliyun.com/dataset/107332微调的是牧歌数据集，结果都不好，记录一下。微调了qwenvl和llava，都是一样的类似结果，需要对数据做进一步的分析。 1.数据 用的是牧歌ECommerce-IC数据，本项任务涵盖了服装、饰品、化妆品内的多个商品类目，对于一件商品
swift：qwen2 VL 多模态图文模型lora微调swift
weixin_42357472的博客
09-11 1359
【代码】swift：qwen2 VL 多模态图文模型lora微调swift。
Swift实战（微调多模态模型Qwen2.5 vl 7B）
Guo_Python的博客
03-18 3284
本教程利用Swift框架微调Qwen2.5 vl 7B模型，是用的数据集是OCR识别数据集，一共10万张图片。
使用SWIFT微调大模型完成回归任务
最新发布
pika2002的博客
05-07 918
传统大语言模型通过预测下一个token的概率来生成文本，其损失函数通常采用softmax分类器，这使得它们难以直接处理回归任务（需要输出连续数值）。然而，大模型具备强大的高维特征编码能力，我们可以利用预训练模型作为特征提取器，通过微调适配回归任务，从而获得优异的性能表现。• 训练方式：取最后一个token的隐藏状态(1,896)，使用RMS损失函数计算回归结果。本示例使用大模型计算句子相似度，输出为0-1之间的连续相似度分数。• 类型：Decoder-only架构（24层堆叠）假设输入三个TOKEN。
【大模型微调】SWIFT：一种可扩展的轻量级基础设施用于微调
数智笔记
08-13 3018
最近在大型语言模型（LLMs）和多模态大型语言模型（MLLMs）方面的发展，利用基于注意力的Transformer架构，实现了卓越的性能和泛化能力。它们已经涵盖了传统学习任务的许多领域。例如，基于文本的任务，如文本分类和序列标注，以及以前使用不同模型解决的多模态任务，如视觉问答（VQA）和光学字符识别（OCR），现在可以基于一个基础模型处理。因此，LLMs和MLLMs，尤其是基于Transformer架构的模型的训练和轻量级微调，变得尤为重要。
swift与Internvl下的多模态大模型分布式微调指南（附代码和数据）
07-10 4821
微调框架：swift微调模型：internvl-chat-v1_5微调任务：多模态大模型在指定任务上的OCR能力微调优化微调显存：55G，多batch时对单卡要求较高（4090不能满足需求）
LLM/MLLM之SWIFT：SWIFT(一个用于微调的可伸缩轻量级基础设施的工具)的简介、安装和使用方法、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-28 5930
​ LLM/MLLM之SWIFT：SWIFT(一个用于微调的可伸缩轻量级基础设施的工具)的简介、安装和使用方法、案例应用之详细攻略 目录 SWIFT的简介 SWIFT的安装和使用方法 SWIFT的案例应用 SWIFT的简介 SWIFT(Scalable lightWeight Infrastructure for Fine-Tuning)是一个用于微调的可伸缩轻量级基础设施的工具，支持近200种LLM和MLLM（多模
Swift大模型微调以及批量推理验证
2401_85375186的博客
06-07 3557
在深度学习和自然语言处理（NLP）领域，大规模语言模型如BERT、GPT-3等通过在大量数据上进行预训练获得了强大的语言理解和生成能力。这些预训练模型通常需要进行微调（Fine-tuning），以便在特定的下游任务上表现更好。微调可以采取不同的形式，包括full、LoRA和Q-LoRA。
【LLM大模型】介绍一个大语言模型的微调框架Swift
2301_81940605的博客
07-18 1709
微调（Fine-tuning）是指在已经预训练好的大语言模型基础上，使用特定领域或任务的数据集进行进一步的训练，使模型能够更好地适应并完成该领域或任务的具体要求。预训练的大语言模型通常在大规模通用语料库上进行训练，学习了语言的普遍规律和特征，但对于特定领域或任务的专业知识和特定需求，往往需要通过微调来优化。
多模态大模型训练数据以及微调数据格式
liguandong
04-17 3140
The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud. - Qwen-VL/README_CN.md at master · QwenLM/Qwen-VL。这里llava格式是应用最为广泛的，除了qwen-vl系列，几乎所有的系列都是llava格式。多模态数据，尤其是中文多模态数据，找一些中文多模态的数据。6423张Xray图片，
ms-swift单卡微调多模态大模型
03-19
### 使用 MS-Swift 进行单卡微调多模态大模型 MS-Swift 是一种基于 Swift 编程语言的框架，用于加速机器学习模型开发和优化。对于单 GPU 上微调多模态大模型的任务，可以遵循以下方法来实现高效训练。 #### 1. ...
SWIFT:让大模型微调变得简单高效
步子哥的博客
08-03 1594
SWIFT的出现,无疑为大模型的定制化应用铺平了道路。它集成了当前最先进的训练技术,提供了全面的模型支持,同时保持了简单易用的特性。无论是初学者还是经验丰富的AI研究人员,都能在SWIFT中找到适合自己的工具。随着AI技术的不断发展,像SWIFT这样的开源框架将发挥越来越重要的作用。它不仅推动了技术的民主化,也为AI创新提供了重要的基础设施支持。可以预见,在SWIFT的助力下,更多创新的AI应用将会涌现,为各行各业带来新的机遇和变革。
通义千问模型微调——swift框架
W_extend的博客
03-19 1104
服务器CUDA Version: 12.2。
大模型管理工具：SWIFT
m0_37559973的博客
05-13 7788
SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是魔搭ModelScope开源社区推出的一套完整的轻量级训练、推理、评估和部署工具，支持200+大模型、15+多模态大模型以及10+轻量化Tuners，让AI爱好者能够使用自己的消费级显卡玩转大模型和AIGC。
【多模态大模型】Janus-Pro+ms-swift 推理-微调
m0_61879647的博客
03-04 1614
我们介绍使用ms-swift对deepseek-ai/Janus-Pro-7B进行微调（注意：目前只支持图像理解的训练而不支持图像生成）。这里，我们将展示可运行的微调demo，并给出自定义数据集的格式。conda create -n swift #创建虚拟环境。如果要使用自定义数据集进行训练，你可以参考以下格式，并指定。在开始微调之前，请确保您的环境已准备妥当。微调完成，保存到output。是一个ocr的数据集 如图。
swift自定义数据集微调Qwen-7B大模型，转换模型后使用ollama跑起来
盛世芳华
08-27 7237
-model_name 阿盛 Master Coder \--model_author 盛世芳华 LLM_ROME \微调时，只需指定--dataset为本地csv文件路径即可，csv文件的格式如下：instruction是问题，input大概能理解为问题背景，output为答案，数据集准备好以后就可以直接进行训练。ms-swift/docs/source/LLM/自定义与拓展.md at main · modelscope/ms-swift (github.com)
【多模态】多模态模型实践——swift3框架使用
威化饼的一隅
12-21 2051
swift3相比于swift2做了大升级，很多swift2能使用的在3里面error改改改…但是效率确实大升级，推理速度快了很多～～～
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 3011
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
【大模型理论篇】SWIFT: 可扩展轻量级的大模型微调基础设施
源泉的小广场
04-08 1249
大模型、多模态、微调框架、训练框架、后处理框架、评估、多模态训练、swift、msswift
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值