[ComfyUI]:SkyReels图生视频模型,混元视频的完美补充

一、介绍

目前ComfyUI视频领域最好用的是混元视频,但是混元视频之前一直有个问题,就是图生视频一直没出来,最近我看新出的一个模型SkyReels,这个是在混元模型基础上训练的,支持在KJ大佬的混元插件里面使用,它支持图生视频。

SkyReels是昆仑万维2月18日号发布开源的,我们今天要用的是他们的图生视频的模型。

今天就来带大家体验一下效果,显存要求至少16-20G,太低的就不大行了。

二、相关安装

2.1 插件安装

这里用的是KJ大佬的混元插件

插件地址: https://github.com/kijai/ComfyUI-HunyuanVideoWrapper

任务管理器里面搜一下

2.2 模型安装

大模型选择kijai大佬的SkyReels模型,i2v的是图生视频,有bf16和fp8两种,显存不够的下载fp8,我这里使用bf16测试。

https://huggingface.co/Kijai/SkyReels-V1-Hunyuan_comfy/tree/main

除了最核心的这个模型外,还需要vae、clip、LLM三大模型
分别截图如下,文末网盘会全部提供

到此,模型准备就搞定了。

三、使用说明

完整工作流如下

需要调整的参数不多,图片和提示词编写即可,我设置绿色的2个节点就是需要调整的。

shyreels官方那边给出的设置建议是 544x960,97帧率。

我们先来看几个效果吧:

最后有几个注意点

目前我跑这个,一般是要6分钟才跑完2秒的图生视频,太慢了,我查了下,官方问题里面KJ有答复,说是CFG的问题

CFG可以自己调整,我最早是用官方默认的0.6,需要5-6分钟跑图,
现在改成0.1后,时间变成3-4分钟了,确实有影响,会快一些。

另外一个很关键的地方 HunyuanVideo Mdel Loader这个节点里面 attention_mode推荐使用最新的 sageattn_varlen

用 sageattn_varlen 的话,出视频速度会更快一些,质量也更好,安装这个有点小麻烦,这里说一下如何安装。

首先找到我们的 python 目录,一般就在我们的 ComfyUI 目录下,然后地址栏输入 cmd,敲回车。

除此之外,还需要安装 triton,这个稍微复杂一些,首先我们需要在以下链接中找到和我们的 python 版本对应的安装文件。

https://github.com/woct0rdho/triton-windows/releases/tag/v3.1.0-windows.post5

我这里是python310,那我们就下载对应的310文件,放到python目录下,如下图这样

然后回到我们刚才打开的 cmd 界面,输入以下的命令,敲回车进行安装。

python.exe -s -m pip install triton-3.1.0-cp310-cp310-win_amd64.whl

然后重启我们的 ComfyUI 就可以使用「sageattn_varlen」这个模式了。

四、云端镜像

大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。

目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。

今天这个数字人案例已经弄到镜像上了,欢迎体验。

镜像名称:嘟嘟AI绘画趣味学


云平台镜像地址:

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长。

五、总结

以上就是混元视频里面图生视频的新方案了,官方目前自己没有出图生视频的,所以这个算是第三方里面效果不错的,可以用来玩的了。

AI时代,值得我们去投入时间研究。

技术的迭代是飞快的,要关注最新的消息才不会掉队。​

嘟嘟每天分享最新的ComfyUI技术前沿。​

本篇中的工作流和模型网盘链接:​https://pan.quark.cn/s/93d5a2aebb05

我是嘟嘟,专注于 AI 绘画以及 AI 工具分享,欢迎来一起交流。​

如果觉得文章有帮助,请帮忙点赞收藏关注一下呦~​

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值