Lama：《Resolution-robust Large Mask Inpainting with Fourier Convolutions》训练、推理实战记录

最新推荐文章于 2025-11-01 20:53:19 发布
原创 最新推荐文章于 2025-11-01 20:53:19 发布 · 2.5k 阅读 · 25 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #深度学习 #机器学习 #生成对抗网络 #计算机视觉

这篇博客介绍了如何在Lama模型训练中更改预设的mask生成方式，包括在saicinpainting项目中定义新的mask类、更新配置文件以调用自定义mask，并分享了数据准备和模型微调的步骤。作者提醒注意库版本的匹配，并提供了预训练权重的下载链接。

记录一下Lama模型的训练、infe踩坑，以及如何更改预设的mask生成方式。
一、环境
简单提一下，一定要按照作者给的requirements.txt里的库版本安装，hydra-core和pytorch-lightning最新版本在此项目代码上均会报错无法运行。

二、预训练模型微调
lama的训练全部是以配置文件.yaml的方式进行的，所以针对不同数据集的预训练模型所使用的yaml也是不同的。总体上作者是在PLACES和CelebA上进行了预训练，同时也包含了Big-Lama、Lama-fourier等多种模型细节的配置。就以在Places-Challenge效果最好的Big-Lama为例，在预训练权重上使用自己的数据和mask进行微调。
1、定义自己的mask生成方式
假如训练中不想使用原本预设的mask生成方式，想要根据自己的任务进行生成（例如在特定位置以特定形状进行生成mask）。
在saicinpainting/training/data/masks.py中首先参照作者方式构建自己的mask生成类。例如RandomSuperresMaskGenerator类是执行make_random_superres_mask函数返回一个矩阵mask，代表覆盖区域。
在这里插入图片描述

之后在同文件中的get_mask_generator函数中增添自己的类对应的kind。
在这里插入图片描述

最后在saicinpainting/training/data/datasets.py的make_default_train_dataloader函数中通过指定get_mask_generator对应的kind参数实现自定义mask类的调用。这个在训练过程中可以在config中指定
2、数

最低0.47元/天 解锁文章
Luk_ke
关注
【深度学习】【Inpainting】LaMa: Resolution-robust Large Mask Inpainting with Fourier Convolutions
q742971636的博客
07-27 1710
现代图像修复往往难以处理大面积的缺失、复杂的几何结构和高分辨率图像，我们发现，造成这种情况的主要原因之一是在修复网络和损失函数中都缺乏有效的感受野为了缓解这个问题，我们提出了一种新的方法，称为大型掩模修复（LaMa）。LaMa特点：1、使用具有图像宽的感受野的快速傅里叶卷积fast Fourier convolutions (FFCs)；2、高感受野感知损失 （a high receptive field perceptual loss）；3、大面积训练masl。
【论文阅读】LaMa：Resolution-robust Large Mask Inpainting with Fourier Convolutions
weixin_46695464的博客
10-05 840
有趣的是，FFCs 的归纳偏置使网络能够泛化到训练过程中从未见过的超高分辨率（图 5，图 6）。有趣的是，FFCs 使该方法能够泛化到从未见过的高分辨率，并且与最先进的基线相比，参数效率更高。（发现宽的掩码对不论宽还是窄的掩码的inpaint性能都有帮助，不过是对特定模型，有些模型指标反而下降了，作者猜测是模型设计问题，可能那些模型设计没有高感受野或相关损失函数。停止相对于变量的梯度（优化判别器的时候，冻结生成器的参数；FFCs 的强大之处 FFCs 是完全可微分的，且易于使用的传统卷积的即插即用替代品。
图像修复之lama
年轻即出发，
01-28 1万+
成功的途径有两条，一是开始，二是坚持。 论文：Resolution-robust Large Mask Inpainting with Fourier Convolutions Github：https://github.com/saic-mdal/lama 基于目前主流的图像修复方法效果之所以差主要问题在于缺乏足够的感受野。网络结构和损失函数都是需要比较大的感受野的。基于此，论文提出了使用快速傅立叶卷积fast Fourier convolutions (FFCs)来增大感受野，...
论文复现——LaMa：Resolution-robust Large Mask Inpainting with Fourier Convolutions
RookiChen的博客
09-14 5708
本次复现的论文是图像修复领域较火的Lama模型中的backbone（提供一个图像分类等其他任务的特征提取网络），由于使用了快速傅里叶卷积等技术使得LaMa的backbone用在图像分类任务上也能有很好的效果。（支持apex混合精度训练、mixup/cutmix、resume）
LaMa 模型：AI 图像修复（老照片 / 划痕去除）
最新发布
2501_93876039的博客
11-01 1050
LaMa 模型的核心是处理图像中的“掩码区域”（即损坏部分，如划痕或缺失像素）。它使用卷积神经网络（CNN）架构，但通过优化感受野大小（receptive field size）来捕获全局上下文信息，从而避免传统方法在修复大区域时产生的模糊或 artifacts。损坏图像 $I_{\text{damaged}}$（例如一张有划痕的老照片）。二进制掩码 $M$（标识损坏区域，$M=1$ 表示缺失，$M=0$ 表示完好）。输出是修复后的图像 $I_{\text{repaired}}$。
Meta最新模型LLaMA细节与代码详解
热门推荐
weixin_44826203的博客
03-06 4万+
本文对Facebook Meta AI最新提出的大语言模型LLaMA进行简单的介绍，以及对其开源出的代码和细节进行了详细的说明。
Lama：《Resolution-robust Large Mask Inpainting with Fourier Convolutions》解读及实操
qq_38856421的博客
10-14 2857
图像Inpainting佳作Lama论文阅读及操作记录
LaMa: Resolution-robust Large Mask Inpainting with Fourier Convolutions 什么是傅里 什么是傅里叶变换，傅里叶变换解决了什么问题？
weixin_40388758的博客
07-07 949
LaMa: Resolution-robust Large Mask Inpainting with Fourier Convolutions 什么是傅里叶变换，傅里叶变换解决了什么问题？傅里叶变换（Fourier Transform）是数学和工程领域的核心工具，其本质是将信号从 “时域”（或空间域）转换到 “频域” 进行分析，解决了复杂信号分解、处理和特征提取等关键问题。以下从原理、解决的问题及在图像修复中的应用展开说明：傅里叶变换的核心思想是：任何周期信号都可以表示为不同频率的正弦波和余弦波的叠加。以
【论文阅读】LaMa: Resolution-robust Large Mask Inpainting with Fourier Convolutions（WACV 2022）
XavierJ的博客
08-26 9762
问题描述：目前的图像修复算法在大块缺失区域、复杂几何结构以及高分辨率图像上的修复效果差强人意。原因分析：在修复网络和损失函数都缺少有效的感受野。解决方案：1）使用 fast Fourier convolutions（FFCs）以获取更大（wide）的感受野；2）使用一个更大（high）感受野的 perceptual loss（感知损失）；3）训练的时候采用更大（large）的 mask 来验证前 2 步改进的效果。实验结果：超过了以往的 SOTA 模型，鲁棒性。............
论文解读：LaMa:Resolution-robust Large Mask Inpainting with Fourier Convolutions
qq_35831906的博客
07-15 1204
尽管现代图像修复系统取得了显著的进展，但它们经常在处理大面积缺失区域、复杂几何结构和高分辨率图像时遇到困难。主要原因之一是修复网络和损失函数缺乏有效的感受野。因此本文提出了一种名为大掩蔽修复（LaMa）的新方法。LaMa基于以下几点：i）使用快速傅里叶卷积（FFC）的新修复网络架构，具有全图感受野；ii）具有高感受野的感知损失；iii）使用大型训练掩蔽，释放前两个组件的潜力。
resolution-robust large mask inpainting with fourier convolutions
liguandong
12-27 1007
作者说一个好的架构应该在网络中具有尽可能广泛感受野，resnet的感受野增长缓慢，卷积核通常很小，感受野在早期可能不足，对于高分辨率图像效果不好，傅里叶卷积是完全可微的，是传统卷积的替代品，由于覆盖整个图像的感受野，傅里叶卷积允许生成器网络从早期开始考虑全局上下文，并且能够很好的捕获非常常见的周期性结构，比如砖，梯子，窗户等，在所有频率上共享相同的卷积会使模型朝着尺度协方差方向移动。Ladv和Ldiscpl负责生成自然外观的局部细节，后者可以稳定训练，LHRFPL负责监督信号和全局结构的一致性。
Inpaint-Anything，LaMa图像处理大模型训练用的素材
02-26
Inpaint-Anything，LaMa图像处理大模型训练用的素材
LightAutoML：LAMA-自动模型创建框架
02-03
LightAutoML（LAMA）-自动模型创建框架 Sberbank AI Lab AutoML小组的LightAutoML（LAMA）项目是用于自动分类和回归模型创建的框架。 当前可解决的任务： 二元分类 多类别分类 回归 当前，我们使用数据集，其中每一行都是具有特定功能和target的对象。 多表数据集和序列现在正在构建中：） 注意：为了自动创建可解释的模型，我们还使用我们小组制作的库。 作者：Ryzhkov Alexander，Vakhrushev Anton，Simakov Dmitry，Bunakov Vasilii，Damdinov Rinchin，Shvets Pav
LaMa 论文复现：Resolution-robust Large Mask Inpainting with Fourier Convolutions
qq_35831906的博客
11-09 4122
LaMa源码复现
Resolution-robust Large Mask Inpainting with Fourier Convolutions 阅读笔记
AnZhiJiaShu's blog
12-12 1932
现代图像修复技术主要受阻于大缺失区域、复杂几何结构和高分辨率图像，主要受阻原因是。
Resolution-robust Large Mask Inpainting with Fourier Convolutions 解读
weixin_42228294的博客
03-03 3955
现代的图像补全系统尽管取得了重大进展，但经常与大的缺失区域，复杂的几何结构和高分辨率的图像数据作斗争。我们发现，其中一个主要的原因是其补全网络和损失函数中都缺乏一个有效的感受野。为了缓解这一问题，我们提出了一种新的方法——large mask inpainting（LaMa）。 LaMa是1）基于一种使用快速傅里叶卷积的全新的补全网络框架，其有着覆盖整张图像范围的感受野；2）一个高感受野的感知损失；3）大的训练掩膜，它可以彰显前两个特点的优越性。 解决图像补全问题的方法——现实地填充缺失的部分——既需要“.
Resolution-robust Large Mask Inpainting with Fourier Convolutions(2021)
studyeboy的专栏
10-27 5063
[Paper] Resolution-robust Large Mask Inpainting with Fourier Convolutions(2021) [Code]saic-mdal/lama 基于傅里叶卷积的分辨率稳健的大型掩码修复 现在的图像修复系统，尽管取得了重大进展，但经常与大面积缺失区域、复杂几何结构和高分辨率图像做斗争。我们发现造成这种情况的主要原因之一是修复网络和损失函数都缺乏有效的感受野。 为缓解这个问题，我们提出了一种称为大蒙版修复（LaMa）的新方法。LaMa基于：1）新的修复
LaMa训练 big-lama模型
weixin_56759664的博客
07-25 2074
【代码】LaMa训练 big-lama模型。
LaMa 训练 实战。踩坑经历。。（num_samples=0）
2401_82435810的博客
12-02 293
LaMa（图像修复）实战 训练自己的数据集，踩坑经历。。
LaMa（Large Mask Inpainting）对于修复图像的分辨率最低要求是多少？
08-26
### LaMa（Large Mask Inpainting）模型对输入图像分辨率的最低要求 LaMa 模型的设计目标之一是能够在高分辨率图像上实现良好的修复效果，即使其训练时仅使用低分辨率图像（256x256）进行学习。根据其方法描述，LaMa 具备“分辨率鲁棒性”（resolution-robust），这意味着它可以在推理阶段处理比训练时更高分辨率的图像[^3]。然而，这并不意味着输入图像可以无限低或没有最低要求。 从技术角度来看，LaMa 使用基于快速傅里叶卷积（FFC）的网络结构来扩展感受野，从而能够处理大范围的遮挡区域和高分辨率图像。尽管训练图像尺寸为 256x256，但该模型在推理过程中能够推广到更高分辨率的图像，例如高达约 2K（2048x2048）的图像[^1]。 关于输入图像的最低分辨率要求，虽然没有明确给出具体的下限数值，但从图像修复任务的一般实践来看，输入图像需要具备足够的内容信息以供模型提取特征并进行有效的修复。通常情况下，图像修复模型的最低输入分辨率建议为 128x128 或更高，以确保模型能够有效捕捉图像结构和纹理信息。因此，可以合理推断 LaMa 的最低输入图像分辨率建议不低于 128x128，否则可能会影响修复质量或导致结构信息缺失[^2]。 ### 示例代码：图像预处理 在使用 LaMa 进行图像修复前，可以对图像进行预处理以确保其符合模型的输入要求： ```python from PIL import Image import numpy as np def preprocess_image(image_path, min_size=128): img = Image.open(image_path).convert('RGB') width, height = img.size if width < min_size or height < min_size: # Resize to minimum size while preserving aspect ratio scaling_factor = min_size / min(width, height) new_size = (int(width * scaling_factor), int(height * scaling_factor)) img = img.resize(new_size, Image.BILINEAR) return np.array(img) image = preprocess_image("path_to_your_image.jpg") ``` ###
评论 15
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值