一、FramePack介绍
起飞啊我靠,今天看到这个项目我裂开了,太强了,开源视频界扳回一局,还得是敏神啊,ComfyUI永远的神(Controlent、icLight都是敏神的项目),今天发布了最新的开源视频项目 FramePack。
FramePack 是一个渐进式生成视频的下一帧(下一帧部分)预测神经网络结构。
FramePack 将输入上下文压缩为恒定长度,以便生成工作量不受视频长度的影响。
即使在笔记本电脑 GPU 上,FramePack 也可以使用 13B 模型处理大量帧。
FramePack 可以使用更大的批量大小进行训练,类似于图像扩散训练的批量大小。
视频扩散,但感觉像图像扩散。
- 项目官网:https://lllyasviel.github.io/frame_pack_gitpage/
- github项目地址:https://github.com/lllyasviel/F
二、 ComyUI插件安装
KJ大佬也已经连夜开发了,我深夜写的文章,插件已经有了
插件地址:https://github.com/kijai/ComfyUI-FramePackWrapper
用git clone的方式去安装。
模型的话,核心就1个模型
模型下载地址:https://huggingface.co/lllyasviel/FramePackI2V_HY/tree/main
- FramePackI2V_HY
存放路径:\models\diffusers\lllyasviel
图生视频工作流:
效果:
framepack图生视频
整合包自取:
来自b站的程序员萝卜:已经测试可以使用,速度5秒视频十分钟生成。(配置4060 8G)
夸克盘 https://pan.quark.cn/s/41145126f071 提取码:wcR8 百度盘 https://pan.baidu.com/s/1Row6ckzIbY44Q9kD-4Yc-A?pwd=pub2 提取码: pub2 天翼盘 https://cloud.189.cn/t/3YraEbm6jAJr(访问码:xwx2)