【Segment Anything Model】十一：LoRA微调SAMEncoder图像编码器

最新推荐文章于 2025-05-05 13:40:20 发布
最新推荐文章于 2025-05-05 13:40:20 发布
阅读量4.4k 收藏 42
点赞数 37
CC 4.0 BY-SA版权
分类专栏： seg模型 文章标签： 人工智能 SAM源码 LoRA 微调技术
不能转载
本文链接：https://blog.csdn.net/cvxiayixiao/article/details/135336042
本文介绍了使用LoRA技术微调Segment Anything Model (SAM) 中的图像编码器部分，通过在QV矩阵旁添加低秩矩阵AB。LoRA避免了全模型微调带来的资源消耗，通过低秩矩阵实现有效参数更新，提升模型在特定领域的适配性。文章提供相关代码示例和分模块讲解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

🍉 博主微信 cvxiayixiao
🍓 【Segment Anything Model】计算机视觉检测分割任务专栏。 链接
🍑 【公开数据集预处理】特别是医疗公开数据集的接受和预处理，提供代码讲解。链接
🍈 【opencv+图像处理】opencv代码库讲解，结合图像处理知识，不仅仅是调库。链接

文章目录

1️⃣预备知识

  • 我们前几章讲的1. 有利用sam预训练权重做微调的 2. 有结合cnn小网络特征的，

  • 都有一个共性就是都冻结了sam的图像编码器

  • 原因是我在微调SAM编码器和解码器的全部参数的时候，发现编码器消耗较大内存，大概48G，她本身用的VIT的Transformer，大也合理。

  • 本篇介绍用Lora方法微调SAM的图像编码器来降低内存消耗

了解本专栏 订阅专栏 解锁全文 超级会员免费看
分割大模型论文阅读——Convolution Meets LORA: Parameter Efficient Finetuning for Segment Anything Model
Philo的博客
05-20 485
Segment Anything Model (SAM) 是图像分割的基础框架。虽然它在典型场景中表现出显着的零样本泛化能力，但当应用于医学图像和遥感等专业领域时，其优势就会减弱。为了解决这一限制，本文引入了 Conv-LoRA，这是一种简单而有效的参数高效微调方法。通过将超轻量级卷积参数集成到低秩适应 (LoRA) 中，Conv-LoRA 可以将与图像相关的归纳偏差注入到普通 ViT 编码器中，进一步强化 SAM 的局部先验假设。
【Segment Anything Model】十二：使用PEFT包中的LoRA微调sam编码器或者解码器，在MVTec数据集上的全部微调代码
cvxiayixiao的博客
04-08 1625
1️⃣MVTec数据集和预处理🍉 博主微信其他专栏点击头像查看：🍓 【Segment Anything Model】计算机视觉检测分割任务专栏。🍑 【公开数据集预处理】特别是医疗公开数据集的接受和预处理，提供代码讲解。🍈 【opencv+图像处理】opencv代码库讲解，结合图像处理知识，不仅仅是调库。
多模态大模型轻量化探索-视觉大模型SAM的视觉编码器
2401_85375151的博客
05-05 725
往期，笔者基于LLava的数据对齐训练，搞了一个多模态大模型，并且看了些多模态大模型，相关开源的多模态大模型如：KimiVL、Internvl、QwenVL等，其视觉编码器的尺寸都比较大，如：MoonViT-SO-400M、InternViT-6B-448px-V2_5 等都非常大，对于特定的垂直场景（或者是端侧落地都不大友好），也许并不需要这么大视觉编码器。如：当时笔者用了一个8B参数的模型及百万表格数据进行训练达到了不错的效果。近期，因此思考一些模型轻量化的方案，，下面来看看SAM，供参考。
【亲测免费】 探索图像分割新境界：LoRA与SAM模型的完美结合
gitblog_09737的博客
10-21 1999
探索图像分割新境界：LoRA与SAM模型的完美结合 【下载地址】LoRA和SAM模型进行图像分割演示案例代码 这是关于使用LoRA for SAM（meta的segment-anything）的代码示例和说明。这段代码演示了如何使用LoRA和SAM模型进行图像分割。以下是对代码中不同部分的解释：- `segment_an...
伪装目标检测论文阅读 SAM大模型之参数微调：Conv LoRA
absence521的博客
04-28 2658
任意分割模型(SAM)是图像分割的基本框架。虽然它在典型场景中表现出显著的零镜头泛化，但当应用于医学图像和遥感等专门领域时，其优势就会减弱。针对这一局限性，本文提出了一种简单有效的参数高效微调方法Conv-Lora。通过将超轻量级卷积参数集成到低阶自适应(LORA)中，Conv-LoRa可以在普通VIT编码器中注入与图像相关的感应偏差，进一步强化了SAM的局部先验假设。
Segment-anything学习到微调系列2_SAM细节理解和部分代码
qq_37795208的博客
07-29 2611
SAM初步理解，简单介绍模型框架，不涉及细节和代码SAM细节理解，对各模块结合代码进一步分析SAM微调实例，原始代码涉及隐私，此部分使用公开的VOC2007数据集，Point和Box作为提示进行mask decoder微调讲解此篇为第二部分，如果已看过第一部分的，可以跳过下文的模型总览中介绍输入输出和流程及最后的数据引擎part，和第一篇一致。本篇很多图和部分内容参考自【大模型系列】一文看懂SAM大模型。
如何微调Segment Anything Model
如果想成为中心，那么就到中心去吧。
04-18 6934
Segment Anything Model (SAM) 是由 Meta AI 开发的一种分割模型。它被认为是计算机视觉的第一个基础模型。SAM 在包含数百万图像和数十亿掩码的庞大数据集上进行了训练，使其非常强大。顾名思义，SAM 能够为各种图像生成准确的分割掩码。Sam 的设计允许它考虑人类提示，这使得它对于 Human In The Loop 注释特别强大。这些提示可以是多模式的：它们可以是要分割区域上的点、要分割对象周围的边界框或关于应该分割什么的文本提示。
使用混合 LORA 专家定制多模态语义分割的 SAM 模型 ！
老皮的博客
02-14 1353
近期的Segment Anything Model (SAM) 在扩展分割模型方面取得了显著突破，在RGB模态的各种下游应用中表现出了强大的性能。然而，直接将SAM应用于新兴的视觉模态，如深度和事件数据，在多模态分割任务中会导致性能不佳。在本文中，作者首次尝试通过提出一种针对不同输入视觉模态的Mixture of Low-Rank Adaptation Experts (MoE-LoRA) 来适应SAM进行多模态语义分割。
Segment-anything学习到微调系列3_SAM微调decoder
qq_37795208的博客
07-29 2817
SAM初步理解，简单介绍模型框架，不涉及细节和代码SAM细节理解，对各模块结合代码进一步分析SAM微调实例，原始代码涉及隐私，此部分使用公开的VOC2007数据集，Point和Box作为提示进行mask decoder微调讲解本篇是第3部分，基于voc2007数据集对SAM decoder进行微调。代码已上传至github。
60行代码就可以训练/微调 Segment Anything 2 (SAM 2)
热门推荐
deephub
08-15 1万+
本文演示了如何在仅60行代码内（不包括标注和导入）对SAM2进行微调。
【Segment Anything Model】三：SAM模型微调自定义数据集，更改混合提示方式：点，框，点框混合
cvxiayixiao的博客
08-04 1万+
1.微调SAM预备知识。
LoRA和SAM模型进行图像分割演示案例代码
08-10
这是关于使用LoRA for SAM（meta的segment-anything）的代码示例和说明。这段代码演示了如何使用LoRA和SAM模型进行图像分割。以下是对代码中不同部分的解释： - `segment_anything`是一个Python包，其中包含了构建SAM模型和自动生成掩码的工具函数和类。 - `sam_model_registry`是一个SAM模型注册表，将不同的SAM模型与其名称相对应。 - `LoRA_Sam`是一个集成了SAM模型和LoRA的类。它可以用来对输入图像进行分割。 - `torch`是PyTorch深度学习框架的库。 - `sam_model_registry["vit_b"]`表示从注册表中获取名称为"vit_b"的SAM模型。 - `lora_sam`是一个实例化的LoRA_Sam对象，将之前获取的SAM模型和r参数（r表示LoRA的缩放因子）传入。 - `lora_sam.sam.image_encoder`是对输入图像进行编码的方法。 - `torch.rand`用于生成一个随机的1x3x1024x1024的张量作为输入图像。 - `resu
CV | Segment Anything论文详解及代码实现
weixin_44649780的博客
02-16 2687
本文主要是详解解释了SAM的论文部分以及代码实现~
图像万物分割——Segment Anything算法解析与模型推理
知来者逆的博客
12-05 9669
这个模型(SAM)训练完成之后，以使其具备"promptable"（可提示）的性质，因此意味着它可以零样本（zero-shot）地适应新的数据集和任务，而无需先对数据进行标注和训练。作者对该模型进行了广泛的评估，发现它在许多任务上的零样本表现通常与完全监督的性能相媲美，甚至更好。
使用SAM为医学图像定制分割模型（2023+Customized Segment Anything Model forMedical Image Segmentation，微调）
weixin_39699362的博客
07-30 2365
提出了基于SAM医学图像分割的通用解决方案SAMed,探索针对医学图像分割的定制化大规模模型的研究新范式。SAMed将低秩调优策略应用于SAM图像编码器，并在标记医学图像分割数据集上与提示编码器和掩码解码器一起进行调优。预微调策略和AdamW优化器使SAMed成功收敛并降低了损失。与SAM不同的是，SAMed可以对医学图像进行语义分割。由于SAMed只更新SAM参数的一小部分，部署成本和存储成本非常小。SAMed的代码可在https://github.com/hitachinsk/SAMed上获得。
大模型微调技术 --＞ LoRA 系列之 LoRA(现今最火热的模型微调方法，甚至没有之一，下面有常用的 lora 参数)
weixin_46034279的博客
11-07 4230
"r": 8,# 起始rank"alpha": 8,# 与rank相同"dropout": 0.1,# 默认dropout"target_modules": ["q_proj", "v_proj"]# 基础配置Step 1: 先固定其他参数,调整 rank 和 alphaStep 2: 确定最优 rank 后,可以尝试增加 target modulesStep 3: 如果还不够好,可以调整 dropout 或 学习率rank 设置过大可能导致显存不足。
一点就分享系列(理解篇5）Meta 出品 Segment Anything 4月6号版核心极速解读——主打一个”Zero shot“是贡献和辅助，CV依然在！
啥都会一点的小程的博客
04-07 2074
zero-shot零样本迁移模型介绍SAM速读拓展和应用
【图像分割】【深度学习】SAM官方Pytorch代码-Image encoder模块Vision Transformer网络解析
yangyu0515的博客
04-26 9459
【图像分割】【深度学习】SAM官方Pytorch代码-Image encoder模块Vision Transformer网络解析
segment anything in high quality
liguandong
08-20 741
2.在具有挑战性的场景下，存在错误的损坏的预测，主要与sam对细小结构的错误理解有关，本文主要在解决这两个问题，同时他是基于sam的，不对sam的原始分割能力造成退化和影响，在sam的基础上增加了两个模块来额外处理细小结构分割问题，但是由于保留了原始sam的结构，肯定是比sam要慢的，但是如果结合上mobilesam的vit_t的话，可能效果能平衡一下，增加了不到0.5%的参数。相当于sam的一个微调版本。上面这张图，原始的sam对结构的理解要差一点，最后一张图sam错误的理解了线。
lora sam
最新发布
05-17
SAM (Segment Anything Model) 则是一种通用的图像分割框架，能够实现实时交互式的对象分割任务[^4]。 #### 结合LoRA与SAM的技术背景 当尝试将LoRA应用于SAM模型时，主要目的是优化其在特定场景下的表现，同时保持...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cv夏一笑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值