【Comfyui】Mv-Adapter 一招搞定人物、物体多视角图像生成

今天介绍一种根据一张图生成图像多视角的图像的方法 - comfyui Mv-adapater 插件使用介绍,先看看效果

如下:

图片

实现环境

显卡:4060ti 16G

内存:32G

工作流内容

模型:

  1. MiaoshouAl/Florence-2-base-PromptGen-v2.0 :提示词反推

  2. BiRefNetModel:抠图

  3. juggernautXL_v9Rdphoto2Lightning.safetensors : 多视图图像生成底模及后期修复使用

  4. sdxl-vae-fp16-fix.safetensors:多视图生成 vae 模型

  5. mvadapter_i2mv_sdxl.safetensors:多视图生成模型 i2v 表示图片到view

  6. xl_union_one safetensors:controlnet 融合版,主要使用到 tile,如果初始图也需要的话还会用到openpose

  7. bbox/face_yolov8m.pt:脸部修复使用

  8. sam_vit b_01ec64.pth:脸部修复使用

  9. segm/person_yolov8m-seg.pt:脸部修复使用

工作流解析

整体如下

图片

思路分享:

利用Mv-Adapter生成多视图的能力,但是它生成的结果只能是 768 * 768 尺寸的而且对于人物来说面部效果不是很好,所以在此基础上加上通用的修复放大流程进行提升输出结果的质量。

多视图生成部分

图片

由于 Mv-Adapter 对于纯背景图片生成效果较好,所以这里首先会去对图片进行背景移除, 然后在传入 mv-adapter 图像生成多视图工作流进行图像生成;

使用到的模型

  1. BiRefNetModel:抠图

  2. juggernautXL_v9Rdphoto2Lightning.safetensors : 多视图图像生成底模,这里也可以使用SD2.1的模型显存需求要低一些但是质量没这么好

  3. sdxl-vae-fp16-fix.safetensors:多视图生成 vae 模型

  4. mvadapter_i2mv_sdxl.safetensors:多视图生成模型选择 i2v 表示图片到view

点击生成即可,这里由于 Mv-Adapter 的原因,生成市场作者一般在 5 - 6 分钟。

图像精炼流程1

图片

思路:

使用 controlnet tile 的特性,使用生成的图像进行控制,在原有的提示词上进行重新生成,提高图像质量

使用到的模型:

  1. juggernautXL_v9Rdphoto2Lightning.safetensors : 底模

  2. xl_union_one safetensors:controlnet 融合版,主要使用到 tile,控制图像生成与原图一致

  3. MiaoshouAl/Florence-2-base-PromptGen-v2.0 :提示词反推;获取原图提示词作为正向提示词的一部分

点击生成即可

图像修复2-脸部

图片

该部分就是使用之前的脸部修复流程,对脸部进行进一步的修复

使用到的模型:

  1. juggernautXL_v9Rdphoto2Lightning.safetensors : 底模

  2. bbox/face_yolov8m.pt:脸部修复使用

  3. sam_vit b_01ec64.pth:脸部修复使用

  4. segm/person_yolov8m-seg.pt:脸部修复使用

点击生成即可。

总结

以上就是comfyui本地使用 mv-adapter 生成多视图的基本流程,该插件不仅适用于人物,而且也适用于物体的多视图生成; 贴一些官网的案例,大家感兴趣的可以自行实验;

图片

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

需要的可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

在这里插入图片描述

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

在这里插入图片描述

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

在这里插入图片描述

在这里插入图片描述

这份完整版的学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值