一、应用介绍
- 局部精准编辑:可针对视频中的特定元素或区域进行编辑,如在人物视频中为人物添加帽子、更换服装等,而不改变周围环境。
- 风格转换大师:能将视频的整体风格进行转换,比如把现实风格的视频转换为卡通风格、复古风格等,为视频赋予全新的视觉感受。
- 内容深度变革:支持将视频内容进行替换或修改,例如将视频中的主体从一个场景转换为另一个完全不同的场景。
- 创意视频生成:结合ComfyUI的强大功能,根据用户输入的提示词,利用视频转噪声再重采样技术,生成具有独特创意的新视频内容。
二、与传统方法对比
对比项目 | 传统视频编辑方法 | ComfyUI - MochiEdit |
---|---|---|
编辑精度 | 需逐帧操作或使用复杂的蒙版工具,精度有限且耗时 | 可精准定位和编辑局部内容,基于AI技术对特定元素编辑更准确 |
风格转换难度 | 依赖预设滤镜和大量后期处理,难以实现复杂风格转换 | 通过提示词和参数调整,轻松实现各种风格转换 |
内容修改灵活性 | 修改主体内容需重新拍摄或进行复杂的抠图、合成等操作 | 直接通过输入提示词和调整参数,快速修改视频内容 |
创意实现成本 | 需要专业的素材库、特效软件和大量人力时间成本 | 利用AI生成能力,降低创意实现门槛和成本 |
三、插件下载地址和安装方法
- 下载地址:GitHub
- 安装方法
- 方法一(ComfyUI管理器安装):点击ComfyUI主菜单中的管理器按钮,选择自定义节点管理器按钮,在搜索栏输入“comfyui - mochi edit”进行搜索安装,安装完成后点击重启按钮重启ComfyUI,手动刷新浏览器清除缓存,即可访问更新后的节点列表。
- 方法二(手动安装):将GitHub上的代码库克隆到ComfyUI的“custom_nodes”目录下,即
git clone https://github.com/logtd/ComfyUI-MochiEdit.git
到comfyui/custom_nodes/
目录。
四、需要的模型及下载地址
- 需要的模型:mochi decoder vae模型等。
- 下载地址:将mochi decoder vae模型下载放置到ComfyUI的
models/vae/mochi
目录。
五、插件包含的节点名称
- Mochi Unsampler:逆采样器,负责将输入的视频数据转换为噪声。
- Mochi Prepare Sigmas:对Mochi Sigma Schedule节点产生的sigmas进行微调,为后续重采样做准备。
- SamplerCustom (Mochi Wrapper):自定义采样器,可设置提示词、配置噪声添加和调整sigma值等。
- Mochi Resampler:重采样节点,将噪声转换回视频。
六、关键插件参数用途和推荐值
- Mochi Unsampler节点
- Gamma:用于噪声校正的强度,建议值为0。
- Seed:进行噪声校正时随机噪声使用的种子,一般保持默认即可,如需特定的随机效果可自行设置。
- SamplerCustom (Mochi Wrapper)节点
- Cfg:在非采样时应设为1.0。
- Eta:与原始视频的对齐强度,值越高生成越接近原始视频。
- Start_step:引导生成的起始步数,较低值(如0)生成更接近原始视频但难添加新对象;较高值(如6)允许添加新对象但可能不跟随原始视频,推荐根据实际需求在0-6之间调整。
- Eta_trend:Eta的变化趋势,推荐设置为“linear_decrease”。
七、节点工作流参考案例
ComfyUI-MochiEdit3
MochiEdit2
MochiEdit1
八、总结
ComfyUI - MochiEdit是一款基于ComfyUI和Genmo Mochi的强大开源视频编辑插件,通过独特的视频转噪声再重采样技术,实现了局部编辑、风格转换、内容修改等丰富的视频编辑功能。与传统视频编辑方法相比,具有更高的编辑精度、更灵活的风格转换和内容修改能力,以及更低的创意实现成本。通过Mochi Unsampler、Mochi Prepare Sigmas、SamplerCustom (Mochi Wrapper)、Mochi Resampler等核心节点的协同工作,用户可以通过调整诸如Gamma、Seed、Cfg、Eta、Start_step、Eta_trend等参数,轻松控制视频编辑的效果。无论是对于专业的视频制作人员还是视频编辑爱好者,ComfyUI - MochiEdit都提供了一种全新的、高效的视频编辑解决方案,为视频创作带来了更多的可能性和创意空间。