Stable Diffusion【进阶篇】:图片中指定元素的移除

大家好,在图像处理中,去掉图片中不想要的元素是一种常见的应用场景,比如去掉图片中的水印、旅游拍的照片中P掉路人等等。随着AI技术的普及,目前可以精准地抹除掉照片中不想要的元素。今天我们分享在SD中2种实现图片中指定元素的移除方法。(文末附籽料)

我们以下面一张图片为例,我们需要移除掉图片中的女孩。

一. 图生图局部重绘实现

【第一步】:局部重绘图片上传以及相关参数设置

使用右上角红框的画笔,将整个人物区域涂白。

下面进行相关参数设置。

  • 蒙版模式:重绘蒙版内容,针对我们使用画笔涂白的地方进行重绘。

  • 蒙版区域内容处理:原图,只针对原图片的基础上进行一个小的改动

  • 重绘区域:整张图片

  • 采样器:DPM++SDE Karras

  • 采样迭代步数:30

  • 图片宽高:保持和上传的图片宽高一致。

  • 重绘强度:设置为1

【第二步】提示词的编写

如果我们知道上传图片的提示词,可以直接将图片的提示词复制过来。

如果我们不知道上传图片的提示词,使用Tagger插件的反推获取提示词。

原图片的提示词:

(Masterpiece, Best Quality, High Quality, Highres:1.4), Detailed, Extremely
Detailed, Ambient Soft Lighting, 4K, (Extremely Detailed Eyes Face and
Skin:1.2), (Desaturated:1.2),

Outdoors, Moutains, Nature, Day, Forest, Rocks, Wooden House, (Detailed
Foliage, Detailed Grass:1.4), (Tall Grass:1.2),

1Girl, (Solo:1.4), Upper Body, Standing,

Brown Hair, Floating Hair, Short Hair,

因为我们需要移除人物,这里去掉人物描述相关的提示词,最后提示词如下:

(Masterpiece, Best Quality, High Quality, Highres:1.4),Detailed,Extremely
Detailed,Ambient Soft Lighting,4K,(Desaturated:1.2),

no **humans,**Outdoors,Moutains,Nature,Day,Forest,Rocks,Wooden,(Detailed
Foliage, Detailed Grass:1.4),(Tall Grass:1.2),

【第三步】大模型的选择以及图片的生成

由于图片是二次元图片,选择一个二次元的图片的大模型即可。

由于本文中的原图片来自大模型DivineEleganceMix,所以这里我们使用该模型,对应的版本是V5版本。

点击【生成】按钮,批次生成多张照片,抽签选择一张效果如下。

上面的图片移除人物后与原图片风格保持了一致。但是仔细一看,发现填补地并不好,在原本人物的位置,尤其是边界处与原图片融合的并不好。我们再看一下生成的另外2张照片,在边界处与原图片融合效果就更加明显了。

可见通过图生图局部重绘的方式移除指定元素,虽然风格保持了一致,但是填补的并不好,容易生成了一些奇怪的东西,并且在边界处融合的也不是很好。当然我们也可以在此基础上使用PS工具对图片进行二次处理,把边界处处理一下,使图片看起来更加自然和谐。

二. 通过ControlNet inpaint控制模型实现

【第一步】:ControlNet的参数设置

相关参数设置如下:

  • 控制类型:选择"局部重绘"

  • 预处理器:inpaint_global_harmonious(重绘-全局融合算法)

  • 模型:control_xxx_inpaint

  • 控制权重 : 设置为1

这里预处理器选择inpaint_global_harmonious,主要是它是将原图进行重新绘制,然后只取蒙版部分填补进来。这种预处理器算法的优点就是重绘部分和整体的融合程度最高,可以有效的弥补图生图局部重绘边界融合不好的问题。

【第二步】提示词的编写

这里我们仍然使用图生图局部重绘的提示词:

(Masterpiece, Best Quality, High Quality, Highres:1.4),Detailed,Extremely
Detailed,Ambient Soft Lighting,4K,(Desaturated:1.2),

**nohumans,**Outdoors,Moutains,Nature,Day,Forest,Rocks,Wooden,(Detailed
Foliage, Detailed Grass:1.4),(Tall Grass:1.2),

【第三步】大模型的选择以及图片的生成

和图生图局部重绘一样,使用相同大模型DivineEleganceMix。

点击【生成】按钮,批次生成多张照片,抽签选择一张效果如下。

移除美女人物后,在蒙版区域还是生成了一些新的元素,但是边界处图片融合效果还是比较好的,看不出来边界痕迹。

不过我们再仔细查看生成的图片,图片中的美女确实已经去掉了,但是画面风格好像有点不太一样(草地和树都没有原图片那么绿了)。

这里我们调整一下ControlNet对图片的控制参数,我们将控制权重设置为最大值2,尽量保持原图的风格。控制模式修改为“更偏向提示词”。

我们再看一下生成图片的效果。

相比上一张生成的图片,效果稍微要好些。

相关说明:

(1)不管是图生图局部重绘还是ControlNet
inpaint模型,如果图片中需要去除的元素占比较大,比如本文图片中的美女,将美女移除的时候,很容易产生一些新的元素。比如下面的图片,将美女移除的时候,蒙版区域填充了一只羊,如果我们想蒙版区域不出现我们想要的元素,可以在反向提示词中指定关键词即可,比如
animals。

(2)不管是图生图局部重绘还是ControlNet
inpaint模型去除图片中指定的元素,只使用SD工具真正要达到比较好的效果还是比较困难的,后期需要借助PS等工具再次加工处理。

好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。

文章使用的AI绘画SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,有需要的小伙伴文末扫码自行获取。

针对各位AIGC初学者,这里列举了一条完整的学习计划,感兴趣的可以阅读看看,希望对你的学习之路有所帮助,废话不多说,进入正题:

目标应该是这样的:

第一阶段(30天):AI-GPT从入门到深度应用

该阶段首先通过介绍AI-GPT从入门到深度应用目录结构让大家对GPT有一个简单的认识,同时知道为什么要学习GPT使用方法。然后我们会正式学习GPT深度玩法应用场景。

-----------

  • GPT的定义与概述
  • GPT与其他AI对比区别
  • GPT超强记忆力体验
  • 万能GPT如何帮你解决一切问题?
  • GPT表达方式优化
  • GPT多类复杂应用场景解读
  • 3步刨根问底获取终极方案
  • 4步提高技巧-GPT高情商沟通
  • GPT深度玩法应用场景
  • GPT高级角色扮演-教学老师
  • GPT高级角色扮演-育儿专家
  • GPT高级角色扮演-职业顾问
  • GPT高级角色扮演-专业私人健身教练
  • GPT高级角色扮演-心理健康顾问
  • GPT高级角色扮演-程序UX/UI界面开发顾问
  • GPT高级角色扮演-产品经理
  • GPT高级技巧-游戏IP角色扮演
  • GPT高级技巧-文本冒险游戏引导
  • GPT实操练习-销售行业
  • GPT实操练习-菜谱推荐
  • GPT实操练习-美容护肤
  • GPT实操练习-知识问答
  • GPT实操练习-语言学习
  • GPT实操练习-科学减脂
  • GPT实操练习-情感咨询
  • GPT实操练习-私人医生
  • GPT实操练习-语言翻译
  • GPT实操练习-作业辅导
  • GPT实操练习-聊天陪伴
  • GPT实操练习-育儿建议
  • GPT实操练习-资产配置
  • GPT实操练习-教学课程编排
  • GPT实操练习-活动策划
  • GPT实操练习-法律顾问
  • GPT实操练习-旅游指南
  • GPT实操练习-编辑剧本
  • GPT实操练习-面试招聘
  • GPT实操练习-宠物护理和训练
  • GPT实操练习-吸睛爆款标题生成
  • GPT实操练习-自媒体爆款软件拆解
  • GPT实操练习-自媒体文章创作
  • GPT实操练习-高效写作推广方案
  • GPT实操练习-星座分析
  • GPT实操练习-原创音乐创作
  • GPT实操练习-起名/解梦/写诗/写情书/写小说
  • GPT提升工作效率-Word关键字词提取
  • GPT提升工作效率-Word翻译实现
  • GPT提升工作效率-Word自动填写、排版
  • GPT提升工作效率-Word自动纠错、建议
  • GPT提升工作效率-Word批量生产优质文章
  • GPT提升工作效率-Excel自动化实现数据计算、分析
  • GPT提升工作效率-Excel快速生成、拆分及合并实战
  • GPT提升工作效率-Excel生成复杂任务实战
  • GPT提升工作效率-Excel用Chat Excel让效率起飞
  • GPT提升工作效率–PPT文档内容读取实现
  • GPT提升工作效率–PPT快速批量调整PPT文档
  • GPT提升工作效率-文件批量创建、复制、移动等高效操作
  • GPT提升工作效率-文件遍历、搜索等高效操作
  • GPT提升工作效率-邮件自动发送
  • GPT提升工作效率-邮件自动回复
  • GPT接入QQ与QQ群实战
  • GPT接入微信与微信群实战
  • GPT接入QQ与VX多用户访问实战
  • GPT接入工具与脚本部署实战

第二阶段(30天):AI-绘画进阶实战

该阶段我们正式进入AI-绘画进阶实战学习,首先通过了解AI绘画定义与概述 ,AI绘画的应用领域 ,PAI绘画与传统绘画的区别 ,AI绘画的工具分类介绍的基本概念,以及AI绘画工具Midjourney、Stable Diffusion的使用方法,还有AI绘画插件和模板的使用为我们接下来的实战设计学习做铺垫。

  • -----------
    AI绘画定义与概述
  • AI绘画的应用领域
  • AI绘画与传统绘画的区别
  • AI绘画的工具分类介绍
  • AI绘画工具-Midjourney
  • AI绘画工具-百度文心一格
  • AI绘画工具-SDWebUI
  • AI绘画工具-Vega AI
  • AI绘画工具-微信中的AI绘画小程序
  • Midjourney学习-Discord账号的注册
  • Midjourney Bot界面讲解
  • Midjourney提示词入门
  • Midjourney高级提示词
  • Midjourney版本参数学解读
  • Midjourney功能参数
  • Midjourney上采样参数
  • AI绘画组合应用1-Midjourney + GPT
  • AI绘画组合应用2-Stable Diffusion + GPT
  • AI绘画组合应用3-AI绘画+ GPT +小红书
  • AI绘画组合应用4-AI绘画+ GPT +抖音
  • AI绘画组合应用5-AI绘画+ GPT +公众号
  • AI绘画组合应用6-AI绘画+ GPT + AI视频
  • AI绘画组合应用7-AI绘画+ GPT + 小说人物/场景
  • AI绘画设计-Logo设计
  • AI绘画设计-套用万能公式
  • AI绘画设计-引用艺术风格
  • AI绘画设计-GPT加速设计方案落地
  • AI绘画设计-Vega AI渲染线稿生成设计
  • AI绘画设计-摄影
  • AI绘画设计-头像设计
  • AI绘画设计-海报设计
  • AI绘画设计-模特换装
  • AI绘画设计-家具设计
  • AI绘画设计-潘顿椅设计
  • AI绘画设计-沙发设计
  • AI绘画设计-电视柜设计
  • AI绘画设计-包装设计的提示词构思

第三阶段(30天):AI-视频高段位

恭喜你,如果学到这里,你基本可以找到一份AIGC副业相关的工作,比如电商运营、原画设计、美工、安全分析等岗位;如果新媒体运营学的好,还可以从各大自媒体平台收获平台兼职收益。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • -----------
    AI视频定义与概述
  • AI视频制作-方案与创新
  • AI视频制作-各种工具实操
  • AI视频制作-美学风格(油画/插画/日漫/水墨)
  • AI视频制作-形象设定(人物形象服装/造型/表情)
  • AI视频画面特效处理
  • AI视频画面拼接
  • AI视频画面配音
  • AI视频画面包装
  • AI视频锁定人物逐一精修
  • 多种表情动作/情节
  • 动态模型转换-视频内部元素关键帧
  • 动态模型转换-图像整体运动
  • 动态模型转换-虚拟人
  • 动态模型转换-表面特效
  • AI自媒体视频-深问GPT,获取方案
  • AI自媒体视频-风格设置(诗歌/文言文等)
  • AI自媒体视频-各行业创意视频设计思路
  • AI视频风格转换
  • AI视频字数压缩
  • AI视频同类型衍生
  • AI视频Pormpt公式

第四阶段(20天):AI-虚拟数字人课程

  • -----------
    AI数字人工具简介
  • AI工作台界面功能展示及介绍
  • AI数字人任务确定
  • AI数字人素材准备
  • AI知识、语料的投喂
  • AI模型训练
  • AI训练成果展示及改进
  • AI数字人直播系统工具使用
  • AI人物在各平台直播
  • AI数字人在OBS平台直播

第五阶段(45天以上):AIGC-多渠道变现课程

该阶段是项目演练阶段,大家通过使用之前学习过的AIGC基础知识,项目中分别应用到了新媒体、电子商务等岗位能帮助大家在主流的新媒体和电商平台引流和带货变现。

-----------

  • AI-小红书引流变现
  • AI-公众号引流变现
  • AI-知乎引流变现
  • AI-抖音引流/带货变现
  • AI-写作变现
  • AI-B站引流变现
  • AI-快手引流变现
  • AI-百家号引流变现
  • AI-制作素材模板出售变现
  • AI-周边定制变现
  • AI-手机壳图案定制变现
  • AI-周边产品定制变现
  • AI-服装图案定制变现
  • AI-个性头像定制变现
  • AI-起号与知识付费变现
  • AI-实现淘宝销售变现

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名AIGC的正确特征了。

这份完整版的AIGC资料我已经打包好,需要的点击下方二维码,即可前往免费领取!

在这里插入图片描述

<think>嗯,用户在使用ComfyUI时遇到了缺少v1-5-pruned-emaonly-fp16.safetensors的问题,首先我得弄清楚这个文件是什么。看起来像是Stable Diffusion的模型检查点文件,因为文件名中有v1-5,可能是指本1.5。用户可能刚接触ComfyUI,不太清楚需要单独下载模型文件。 接下来,我应该解释这个文件的作用,是Stable Diffusion的核心模型,用来生成图像。然后需要指导用户如何获取这个文件,比如去HuggingFace下载,或者通过官方渠道。可能用户不知道模型需要放在哪个目录,所以需要详细说明路径,比如ComfyUI的models/checkpoints文件夹。 还要提醒用户注意模型的不同本,比如pruned是精简,emaonly可能指使用了EMA(指数移动平均)的本,fp16是半精度,这些会影响性能和兼容性。此外,用户可能下载错本,或者路径不对,导致ComfyUI找不到文件,需要检查步骤是否正确。 另外,用户可能不知道需要注册HuggingFace账户,或者下载时遇到问题,比如网络限制,可能需要提供替代方案,比如其他下载源或者使用不同的模型文件。还可能存在文件命名问题,是否要修改文件名,或者ComfyUI是否支持自动检测模型。 最后,要确保回答清晰,分步骤说明,让用户能一步步操作。同时,考虑用户可能的困惑点,比如文件用途、下载方法、放置路径,以及常见问题,如路径错误或下载错误本,帮助用户全面解决问题。</think>你在使用 ComfyUI 时遇到的 `v1-5-pruned-emaonly-fp16.safetensors` 缺失问题,是 **Stable Diffusion 模型的核心文件**(俗称“大模型”或“检查点文件”)。以下是详细说明和解决方法: --- ### 📁 **这是什么文件?** - **功能**:这是 Stable Diffusion v1.5 本的预训练模型权重文件,用于生成图像的核心算法。 - **文件特性**: - `pruned`:精简模型,移除了冗余数据,体积更小。 - `emaonly`:仅包含 EMA(指数移动平均)优化后的权重,稳定性更好。 - `fp16`:半精度格式,节省显存且运行更快。 --- ### ❓ **为什么会报错?** - ComfyUI 默认不包含任何模型文件(因权和体积限制)。 - 你需要 **手动下载并放置模型文件** 到指定目录。 --- ### 🔧 **解决方法** 1. **下载模型文件**: - 官方下载地址(需注册 HuggingFace 账号): [https://huggingface.co/runwayml/stable-diffusion-v1-5](https://huggingface.co/runwayml/stable-diffusion-v1-5) - 直接下载链接(搜索文件名):`v1-5-pruned-emaonly.safetensors` 或 `v1-5-pruned-emaonly-fp16.safetensors`。 2. **放置文件到正确路径**: - 将下载的 `.safetensors` 文件放入: ``` ComfyUI根目录/models/checkpoints/ ``` - 重启 ComfyUI,它会自动检测模型。 --- ### 💡 **其他建议** 1. **替代模型**: - 如果下载困难,可换用其他模型(如 `SDXL` 或社区模型),需确保文件格式为 `.safetensors` 或 `.ckpt`。 - 推荐平台:[CivitAI](https://civitai.com/)(丰富的风格化模型)。 2. **路径检查**: - 确认文件未错误放置在 `ComfyUI/embeddings/` 或 `ComfyUI/loras/` 等目录。 - 文件名需保持一致(部分工具会重命名文件)。 3. **网络问题**: - 国内用户可能需通过代理访问 HuggingFace,或寻找镜像站下载。 --- ### 🌐 **进阶提示** - 若需要更多模型(如 ControlNet、LoRA),需将它们分别放入对应的 `models` 子目录。 - ComfyUI 支持同时加载多个模型,通过界面下拉菜单切换使用。 遇到其他问题可提供截图或日志,进一步排查路径或兼容性问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值