【ComfyUI+视频生成】LTX-Video 快速生成视频 + 图生视频 (生成4秒 3090需要20秒)

代码:https://github.com/Lightricks/LTX-Video
comfyui官方工作流:https://comfyanonymous.github.io/ComfyUI_examples/ltxv/
官方模型:https://huggingface.co/Lightricks/LTX-Video

工作流下载:https://pan.baidu.com/s/1g9Yx78ddwcTt2tNvLihk6g?pwd=1212

在这里插入图片描述
工作流:
在这里插入图片描述

简介

来自 Lightricks的开创性视频生成模型LTX Video (LTXV)。LTXV是一个仅有20亿参数 (2B)的基于DiT架构的视频生成模型,能够实时生成高质量视频。它以768x512的分辨率,每秒24帧的速度生成视频,最多生成4秒,支持文生图,图生图。

另外,LTX Video 基于开发人员的反馈和真实世界用例构建,可以提供自然逼真的结果。该模型做了高级定制化设计,可以流畅地集成各种外部工具,从而轻松地增强工作流。
在生成过程中,LTX Video 最大程度减少了闪烁和伪影,创建出具有出色细节和清晰度的高保真视频。每一帧都在精心制作下呈现清晰锐利、栩栩如生,符合用户的视觉效果。
最后,LTX Video 实现了无缝的跨帧一致性,从角色到环境,可以保持连贯的视觉效果,将每个细节整合在一起。

代码实现基础

扩展阅读

机器之心 :RTX 4090可跑、完全开源,最快视频生成模型问世,实测一言难尽
小小将 :实时视频生成模型LTXV来了:生成5s时长的768x512视频只要4s!
破狼:超高效视频模型!仅需4秒生成5秒24帧高质量视频,运动一致性且消除物体变形

模型国内镜像下载

https://hf-mirror.com/

export HF_ENDPOINT=https://hf-mirror.com  # linux
# $env:HF_ENDPOINT = "https://hf-mirror.com"  # windows
huggingface-cli download --resume-download Lightricks/LTX-Video  --local-dir  ./models/checkpoints
### 如何在Vivado中生成LTX文件 为了能够在Vivado中成功生成并利用LTX文件进行调试或波形查看,需遵循特定的工作流程。当完成设计综合、实现以及BIT文件的创建之后,下一步便是准备LTX文件。 #### 创建LTX文件的具体过程: 1. 设计完成后,在项目管理界面确认已选择了正确的顶层模块。 2. 进入“Flow Navigator”,找到并点击“Program and Debug”下的“Debug Configurations…”选项[^1]。 3. 在弹出窗口内指定要包含于LTX文件中的信号列表。这一步骤至关重要,因为只有被选中的信号才能在后续的在线调试过程中被捕获和显示。 4. 设置完毕后保存配置,并返回主界面继续执行编译命令直至生成新的BIT文件。 5. 编译结束后,系统会自动生成对应的.LTX文件,该文件位于输出产品目录下,默认情况下与.bit文件同名。 一旦拥有匹配的BIT和LTX文件组合,即可通过编程设备加载这些文件至目标FPGA器件上开展实时数据采集与分析工作。 ```bash # 假设当前路径为项目根目录 open_hw_manager connect_hw_server current_hw_target [get_hw_targets */xilinx_tcf/Digilent/*] set_property PARAM.FREQUENCY 6000000 [get_hw_targets */ open_hw_target current_hw_device [lindex [get_hw_devices] 0] refresh_hw_device -update_hw_probes false [current_hw_device] set_property PROGRAM.FILE {/path/to/project_name.runs/impl_1/top_module.bit} [current_hw_device] program_hw_devices [current_hw_device] debugger::load_ltx /path/to/project_name.runs/impl_1/top_module.ltx ``` 此脚本展示了如何使用Tcl命令来连接硬件服务器、选定目标板卡并对其实现程序化处理;最后加载相应的LTX文件以便启动在线调试功能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曾小蛙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值