AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。

计算机硕士，人工智能领域优质创作者，从事深度学习、计算机视觉、图像处理相关工作，目前关注于AIGC文生图，图生图，文生视频等方向。曾在滴滴，小米任职算法工程师。

原创图像着色还能这样玩？上交联合哔哩哔哩提出图像着色框架MT-Color，让AI着色学会“看人下菜碟”！

本研究提出MT-Color框架，通过像素级掩码注意机制和实例-文本引导模块解决扩散模型着色中的颜色渗色和绑定错误问题。该方法创新性地采用多实例采样策略，结合新构建的GPT-Color数据集，在实例级可控着色任务中展现出优越性能。实验表明，该方案能有效隔离实例间颜色干扰，显著提升着色准确度与感知质量，为复杂场景下的精确着色提供了新思路。论文链接：https://arxiv.org/pdf/2505.08705

2025-07-23 23:28:54 134

原创月之暗面开源万亿参数“王炸”Kimi K2，混合专家语言模型新标杆。

月之暗面7月11日发布新一代MoE语言模型KimiK2，具备320亿激活参数和1万亿总参数规模。该模型采用Muon优化器训练，在知识推理、编码及代理任务上表现优异。主要突破包括：基于15.5T令牌的稳定预训练、创新的MuonClip优化技术，以及专为工具调用设计的代理智能系统。提供基础版（K2-Base）和指令版（K2-Instruct）两种变体，支持复杂任务自动化处理。基准测试显示其性能超越主流开源模型，尤其在工具使用场景中可实现17次连续API调用。目前开放网页/移动端免费试用，API兼容OpenAI标

2025-07-23 23:28:21 676

原创字节提出海报生成框架DreamPoster，一张图+一句话即可生成精美海报，功能即将上线APP，点击文章超前试用体验！

字节跳动推出文本图像生成框架DreamPoster，基于Seedream3.0模型，支持通过图像和文本提示生成高质量海报，保持内容准确性并支持灵活排版。该框架采用系统化数据标注流程构建训练数据集，通过渐进式三阶段训练策略提升模型能力。测试显示其可用性达88.55%，优于GPT4o等主流模型。DreamPoster即将在字节系App上线，其创新数据管理和多模态架构设计显著提升了AI海报生成效果。论文和技术细节已在官网和arXiv发布。

2025-07-23 23:27:43 507

原创 AI 帮你搭 AI 工作流！阿里提出 ComfyUI-Copilot 让 ComfyUI 效率飙升 300%！

摘要：ComfyUI-Copilot是阿里巴巴开发的智能插件，旨在优化ComfyUI工作流。它通过自然语言交互提供节点建议、工作流构建辅助和模型查询服务，支持文本、图像和音频处理。核心功能包括交互式问答机器人、智能工作流协助和参数探索，新推出提示重写助手和个性化工作流生成功能。该工具适合各水平开发者，能显著提升开发效率。安装可通过Git或ComfyUI Manager完成，项目仍处早期阶段，建议定期更新代码获取新功能。

2025-07-23 23:27:05 525

原创 FantasyPortrait：高德阿里北邮携手，开启肖像动画“幻境”之旅！

摘要：高德、阿里巴巴与北邮联合推出FantasyPortrait系统，通过基于DiT的框架实现高保真肖像动画生成。该系统创新性地采用隐式面部表情表征和带掩膜交叉注意力机制，支持单人多角色场景下的精准表情控制，有效解决跨身份重现中的特征干扰问题。研究团队同步发布了Multi-Expr数据集和ExprBench评估基准，实验证明该方法在情感表达细腻度和动画真实感方面显著优于现有技术，为动态肖像生成领域提供了突破性解决方案。相关代码和数据已在GitHub开源。

2025-07-23 23:26:04 422

原创 CVPR2025 | 图像生成加速新突破！南开大学提出Loopfree，1步编码+4步解码，重塑图像生成速度与质量。

南开大学团队在CVPR2025发表的论文《Loopfree》提出创新性文本到图像扩散模型架构，通过时间无关统一编码器(TiUE)设计实现高效高质量图像生成。该模型采用1步编码器+4步解码器的独特结构，支持并行采样，在保持与多步模型相当生成质量的同时，显著提升推理速度。实验显示，该方法在FID、CLIP-Score等指标上优于现有技术，同时显存占用仅小幅增加。这一突破为平衡扩散模型的效率与质量提供了新思路。

2025-07-23 23:24:53 466

原创 ICCV 2025 | 中国海洋大学提出虚拟试穿通用框架OmniVTON：首个无需训练，首创多人试穿，解锁虚拟试穿新玩法！

《OmniVTON：无需训练的通用虚拟试穿框架实现跨场景应用》摘要中国海洋大学团队在ICCV2025提出的OmniVTON框架，创新性地解决了虚拟试穿领域的关键难题。该研究通过解耦服装与姿势条件，结合服装先验生成和DDIM反转技术，成功统一了"棚拍"和"街拍"场景的虚拟试穿需求。其突破性体现在：1）首创无需训练的通用方案，实现跨域泛化；2）开发连续边界拼接技术确保纹理保真；3）首次支持多人虚拟试穿功能。实验验证了该框架在各类数据集和应用场景中的卓越表现，为VTON技

2025-07-23 23:23:51 703

原创一句话开启高效图像编辑新时代！TeleAI SmartFreeEdit，打造图像编辑新方案，解决推理指令与分割难题。

TeleAI推出新型图像编辑模型SmartFreeEdit，通过多模态大语言模型(MLLM)与超图增强技术结合，实现了更精准的指令驱动编辑。该模型能处理添加/移除对象、背景修改等复杂任务，在Reason-Edit基准测试中表现优异，在分割精度、指令跟随和视觉一致性等指标上超越现有方法。其创新在于将编辑指令分解为结构化提示，利用超图模块增强全局理解，无需迭代掩码计算即能保持语义连贯性。相关论文和代码已开源，为AI图像编辑领域提供了新解决方案。

2025-06-24 23:05:15 358

原创人机交互动画制作新突破！文本驱动扩散框架HOIDiNi：一句话驱动虚拟人高精度操作物体。

在人机交互、动画制作等领域，如何生成逼真且符合严格约束的人体 - 物体交互（HOI）一直是科研人员努力攻克的难题。今天给大家分享一个文本驱动扩散框架——HOIDiNi，它不仅满足 HOI 的严格约束，还能保留真实人体运动的流形。通过巧妙运用扩散噪声优化（DNO）这一测试时采样方法，在生成过程中精准引导。同时，训练出的扩散模型 CPHOI 更是独具匠心，能动态预测手掌与物体表面的接触对，实现精确、帧一致性的交互，生成更稳定逼真的行为。

2025-06-24 23:04:22 793

原创 TMM 2025 | 超越SOTA！AdaMesh用10秒视频生成个性化语音动画，表情生动性提升40%。

清华大学等机构提出AdaMesh框架，仅需10秒视频即可生成个性化语音驱动3D面部动画。该技术通过混合低秩自适应(MoLoRA)模块高效捕捉表情特征，构建离散姿势库检索头部动态，双适配器协同工作实现自然生动的面部生成。相比现有方法，AdaMesh在保留个性化说话风格和避免数据依赖方面表现突出，实验证明其效果优于当前最先进技术。相关论文和代码已开源。

2025-06-24 23:03:08 429

原创多模态任务大一统！蚂蚁推出Ming-Omni：图像、文本、语音三模态无缝融合，一网打尽复杂任务！

Ming-lite-omni是28亿参数的多模态轻量模型，源自Ming-omni系列。该模型采用MoE架构与模态专用路由器，统一处理文本、图像、音频和视频输入，并具备跨模态生成能力。实验显示其在图像感知任务中性能媲美7B模型，语音理解超越同类产品，图像生成质量（FID=4.85）创新纪录。作为首个开源全模态模型，Ming-lite-omni支持实时语音生成、图像编辑等功能，为多模态AI研究提供了高效解决方案。相关资源已开源，包括论文、代码和在线试用平台。

2025-06-24 23:02:08 1141

原创电商广告新利器！字节提出 DreamActor-H1，让产品与模特“一键生成”高保真交互视频。

《DreamActor-H1：基于DiT的人机交互演示视频生成框架》摘要：DreamActor-H1创新性地采用扩散变换器(DiT)架构，解决了人机交互视频生成中身份保持和动作真实性的关键难题。该框架通过遮罩交叉注意力机制整合配对的人与产品参考信息，结合3D身体网格和产品边界框实现精确运动引导，并利用语义文本编码增强3D一致性。实验表明，经过大规模混合数据训练的方法在身份完整性和物理合理性方面超越现有技术，特别适用于电商广告和数字营销场景。该方法能有效保留产品细节(如徽标纹理)并生成自然交互动作，为个性化

2025-06-24 23:01:11 618

原创清华大学联合IDEA推出GUAVA：单幅图像生成实时可动画3D上半身，渲染速度突破0.1秒，可实现实时表情与动作同步。

清华大学团队提出GUAVA框架，可实现亚秒级（0.1秒）高质量3D上半身重建，支持512分辨率实时动画渲染。该方案通过EHM模型增强表情捕捉能力，结合逆纹理映射和投影采样技术，从单图像快速生成可动画的3D高斯模型。实验显示其在身份一致性保持、细节还原和渲染速度上均优于现有方法，代码即将开源。

2025-06-24 22:59:18 502

原创超越SOTA！浙大&斯坦福提出DiffLocks，单图头发3D重建精度提升30%，首次支持非洲式卷发生成！

摘要：浙江大学与斯坦福大学联合提出DiffLocks框架，通过扩散模型从单张RGB图像生成高精度的3D发束结构。该研究构建了包含4万种发型的合成数据集，采用基于图像的扩散Transformer模型，直接预测头皮纹理图并解码为三维发束，无需后处理。相比现有方法，DiffLocks首次实现了对复杂卷发（如非洲式发型）的精细重建，并通过预训练图像主干实现自然图像的泛化能力。实验表明该方法在质量和多样性上均超越现有技术，相关数据和代码已开源。

2025-06-24 22:58:01 506

原创从文本到3D的“零训练”革命！英伟达&康奈尔大学提出 ArtiScene：通过 2D 中介实现高保真 3D 场景合成。

ArtiScene：无需训练的文本驱动3D场景生成方法摘要：英伟达与康奈尔大学联合提出的ArtiScene创新性地利用2D图像作为中介，实现了高质量3D场景的文本驱动生成。该方法首先通过文本生成2D图像，从中提取物体形状、布局和风格信息，再组合成3D场景。相比传统需要大量3D训练数据的方法，ArtiScene展现出更强的泛化能力，支持多样化场景类别和风格，并保持74.89%-95.07%的用户满意度。系统支持模块化编辑，为室内设计和XR应用提供了高效解决方案。相关代码即将开源。（99字）

2025-06-24 22:57:09 695

原创一句话开启高效图像编辑新时代！TeleAI SmartFreeEdit，打造图像编辑新方案，解决推理指令与分割难题。

TeleAI推出创新图像编辑模型SmartFreeEdit，通过整合多模态大型语言模型和超图增强技术，显著提升AI图像编辑能力。该模型能精准处理复杂指令驱动的编辑任务（如对象增减、背景修改等），在Reason-Edit基准测试中全面超越现有方法，尤其在分割精度、指令跟随和视觉一致性方面表现突出。实验对比显示其优于InstructPix2Pix等主流技术，且无需迭代掩码计算即可保持全局语义连贯性。研究代码已开源，为图像编辑领域提供了新的技术解决方案。

2025-06-24 22:55:21 292

原创从单口相声到群口辩论：MultiTalk开源：多角色对话生成SOTA模型，语音-视觉对齐精度达98.7%！

从单口相声到群口辩论：MultiTalk开源：多角色对话生成SOTA模型，语音-视觉对齐精度达98.7%！

2025-06-22 22:31:11 574

原创港科大&快手提出统一上下文视频编辑 UNIC，各种视频编辑任务一网打尽，还可进行多项任务组合！

由香港科技大学、快手科技提出的UNIC（统一上下文视频编辑）是一个简单而有效的框架，它以上下文的方式统一单个模型中的各种视频编辑任务。从此，视频编辑用着一个工具就够了！

2025-06-07 17:18:25 329

原创 Ctrl-Crash 助力交通安全：可控生成逼真车祸视频，防患于未然

Ctrl-Crash是一个可控的视频扩散框架，它能够从单帧生成逼真的车祸场景，在基于扩散的方法中达到了最佳性能，并通过改变空间和语义控制输入实现反事实推理。为了支持训练和评估，还开发了从车祸视频中提取边界框的处理流程，并发布了 MM-AU、RussiaCrash 和 BDD100k 的精选注释版本，以促进未来车祸模拟和生成式建模的研究。

2025-06-07 17:17:29 1076

原创北大开源音频编辑模型PlayDiffusion，可实现音频局部编辑，比传统 AR 模型的效率高出 50 倍！

北大开源了一个音频编辑模型PlayDiffusion，可以实现类似图片修复(inpaint)的局部编辑功能 - 只需修改音频中的特定片段，而无需重新生成整段音频。此外，它还是一个高性能的 TTS 系统，比传统 AR 模型的效率高出 50 倍。

2025-06-07 17:16:07 1097

原创字节、港理工提出超强统一视觉模型 Many-for-Many，如何凭它让 8B 模型“逆袭”商业引擎？

字节跳动与香港理工大学提出统一框架 Many-for-Many，它借助众多视觉生成和操作任务的训练数据，为不同任务训练单个模型。具体做法是设计轻量级适配器统一不同任务的条件，采用联合图像 - 视频学习策略逐步训练。该框架通过联合学习形成统一模型，提升视频生成性能，还引入深度图辅助模型感知 3D 空间。模型有 8B 和 2B 两种版本，均能执行 10 多种任务，其中 8B 模型在视频生成任务上性能比肩开源甚至商业引擎。

2025-06-07 17:14:50 965

原创 SIGGRAGH 2025 | AI视频生成新纪元！港大&达摩院发布LayerFlow：分层视频生成黑科技

本篇文章来自公众号读者投稿，论文提出了一个统一的分层视频生成解决方案 LayerFlow，给定每一层的提示词，LayerFlow 能够生成带有透明alpha通道的前景、干净的背景以及二者结合的全景视频。同时，它还支持多种灵活的变体，例如将视频进行分层分解，或在给定前景的情况下生成相应的背景视频，反之亦然。

2025-06-07 17:13:18 789

原创复旦联合百度发布Hallo4：让AI肖像“活”起来！新型扩散框架实现高保真音频驱动动画生成！

复旦联合百度发布Hallo4扩散框架，实现高保真音频驱动肖像动画生成。该技术通过直接偏好优化和时间运动调制两项创新，解决了唇音同步、表情自然度和运动细节保留等核心挑战。实验表明，Hallo4在同步精度、表情生动性等方面显著优于基线方法，并能适应不同角色和场景需求。研究为未来扩展全身动画合成奠定了基础。论文和项目代码已公开。

2025-06-07 17:12:29 1015

原创腾讯开源视频生成工具 HunyuanVideo-Avatar，上传一张图+一段音频，就能让图中的人物、动物甚至虚拟角色“活”过来，开口说话、唱歌、演相声！

腾讯混元团队提出的 HunyuanVideo-Avatar 是一个基于多模态扩散变换器（MM-DiT）的模型，能够生成动态、情绪可控和多角色对话视频。支持仅 10GB VRAM 的单 GPU运行，支持多种下游任务和应用。例如生成会说话的虚拟形象视频，可用于电商、在线直播、社交媒体视频制作等。此外，其多角色动画功能则拓展了视频内容创作、编辑等应用场景。

2025-06-07 17:10:54 858

原创科研人神器，论文秒变海报！开源框架PosterAgent一键生成顶会级学术Poster，再也不用为赶会熬夜做PPT啦

《Paper2Poster：科学论文海报自动化生成方法研究》摘要：研究团队提出了一种面向科学论文的多模态海报自动化生成方法Paper2Poster。该方法采用PosterAgent管道，通过解析器提炼论文内容、规划器设计布局、画家-评论者循环优化细节，解决了长文本处理和多模态整合的挑战。实验表明，相比GPT-4o等现有方案，PosterAgent生成的海报在视觉质量、信息传达和成本效率（减少87% token消耗）上表现更优。研究还提出了包括PaperQuiz在内的评估体系，通过VLM模拟不同读者评估海

2025-06-07 17:09:25 1102

原创中山大学&美团&港科大提出首个音频驱动多人对话视频生成MultiTalk，输入一个音频和提示，即可生成对应唇部、音频交互视频。

中山大学&美团&港科大提出首个音频驱动多人对话视频生成MultiTalk，输入一个音频和提示，即可生成对应唇部、音频交互视频。

2025-06-07 17:07:29 664

原创视频虚拟试穿新SOTA！浙大&VIVO提出MagicTryOn，空间建模+服装细节控制，超真实视频虚拟试穿效果。

MagicTryOn将大规模视频扩散Transformer应用于视频虚拟试穿。利用Wan2.1内置的完全自注意力机制，实现统一的时空建模。论文设计了一种由粗到细的服装保存策略，逐步将服装信息注入去噪网络，以增强服装细节控制和生成质量。此外还引入了遮罩感知损失函数，引导网络在优化过程中聚焦于服装区域。在图像和视频试穿数据集上的实验表明，MagicTryOn在指标、视觉质量和自然场景下均表现出色，展现了其在实际应用中的潜力。

2025-06-06 20:25:14 1190

原创突破想象边界！ ID-Patch，多人图像生成新突破来袭！

今天给大家介绍的由字节跳动和密歇根州立大学提出的个性化多身份图像生成方法ID-Patch，对于身份泄露、ID一致保持，模型推理速度等都给我们带来了一些惊喜。下面展示的结果为该方法与最先进的多身份生成方法的比较：

2025-06-06 20:24:25 957

原创字节推出统一多模态模型 BAGEL，GPT-4o 级的图像生成能力直接开源了！

字节推出统一多模态模型 BAGEL，GPT-4o 级的图像生成能力直接开源了！

2025-06-06 20:23:11 734

原创 CVPR 2025 | 单目人头重建最新SOTA方法！清华与IDEA发布HRAvatar：高质量可重光照头像化身。

单目人头重建最新SOTA方法！清华与IDEA发布HRAvatar：高质量可重光照头像化身。

2025-06-06 20:21:27 823

原创无需引入任何外部表征组件：SRA助力Diffusion Transformer实现自我表征指导

研究的核心观点是扩散Transformer自身具备提供表征引导的能力，无需引入额外的表征组件。通过提出SRA方法，证明了在仅进行生成训练的过程中，通过自我表征对齐可以有效提升扩散Transformer的表征学习能力和生成性能。实验结果表明，SRA在多个模型和数据集上均能带来显著的性能提升，并且在与依赖复杂表征训练框架或强大外部表征先验的方法对比中展现出优越性。

2025-06-06 20:20:48 718

原创 Google DeepMind发布最强视频生成工具 Veo 3，可为作品添加音效、环境噪音甚至对话，所有音频均可原生生成。它还能提供一流的音质，在物理效果、真实感和快速响应方面均表现卓越。

Google DeepMind发布最强视频生成工具 Veo 3，可为作品添加音效、环境噪音甚至对话，所有音频均可原生生成。它还能提供一流的音质，在物理效果、真实感和快速响应方面均表现卓越。

2025-06-06 20:20:07 378

原创哔哩哔哩再放大招！开源最强文本转语音 (TTS)模型Index-TTS，超真实语音克隆，可纠正发音、控制停顿，性能表现最强！

哔哩哔哩再放大招！开源最强文本转语音 (TTS)模型Index-TTS，超真实语音克隆，可纠正发音、控制停顿，性能表现最强！

2025-06-06 20:19:16 1275

原创给二次元世界的献礼！哔哩哔哩开源目前最强大的开源动漫视频生成模型Index‑AniSora

AniSora 为克服动画视频生成中的挑战提供了解决方案。该数据处理流程生成了超过 1000 万个高质量的训练片段，为模型奠定了坚实的基础。利用时空掩码，生成模型可以根据不同的控制条件创建视频。此外，提出的评估基准证明了该方法在角色一致性和运动流畅度方面的有效性。

2025-06-06 20:18:46 1537

原创谷歌提出图像灯光编辑方法LightLab，只要一张图+AI，光影效果全搞定！

谷歌提出图像灯光编辑方法LightLab，只要一张图+AI，光影效果全搞定！

2025-06-06 20:17:48 780

原创谢赛宁团队提出 BLIP3-o：融合自回归与扩散模型的统一多模态架构，开创CLIP特征驱动的图像理解与生成新范式

论文首次系统地探索了用于统一多模态建模的混合自回归和扩散架构，并评估了三个关键方面：图像表征（CLIP 与 VAE 特征）、训练目标（光流匹配与 MSE）以及训练策略（联合与顺序）。实验表明CLIP 嵌入与光流匹配损失相结合，能够提高训练效率并提升输出质量。基于这些洞察，作者推出了 BLIP3-o，这是一系列最先进的统一模型，并基于 60k 指令集调整数据集 BLIP3o-60k 进行了增强，显著提升了快速对齐和视觉美感。此外，作者正在积极开发该统一模型的应用，包括迭代图像编辑、视觉对话和逐步视觉推理。

2025-06-06 20:17:11 792

原创阿里联合上海AI Lab提出DMM！多个模型压缩成一个通用T2I模型！可控任意风格生成!

论文重新思考了T2I扩散模型领域的模型合并任务，并构建了一个多功能、可支持样式提示的扩散模型，用于可控的图像生成。具体而言，作者提出了一种基于分数蒸馏的简单而有效的合并范式DMM，DMM利用三种类型的损失函数来提升合并性能，并进行正则化以支持稳定的持续学习。借助我们设计的基于嵌入的样式控制机制，用户可以在推理过程中操作样式提示，灵活地执行各种样式组合。论文基于新的指标设计了一个评估基准，结果表明提出的合并模型在图像生成质量方面能够很好地模拟专家教师模型。

2025-06-06 20:16:09 459

原创 CVPR 2025 | 港中文 MMLab 提出文生图模型 T2I-R1，文生图进入R1时刻！

论文介绍的 T2I-R1 是首个基于双层 CoT 推理过程的推理增强型文本转图像模型。作者识别了用于高级规划的语义级 CoT 和用于逐块生成的 token 级 CoT。通过提出的 BiCoT-GRPO 进一步整合了它们，这是一个在同一训练步骤中整合了两级 CoT 的强化学习框架。通过利用同时具备视觉理解和生成能力的 ULM，提出的方法无需使用单独的专用模型，同时实现了显著的性能提升，在 T2I-CompBench 上提升了 13%，在 WISE 基准上提升了 19%，甚至超越了 FLUX.1。定性分析表明，

2025-06-06 20:15:34 1175

原创字节发布Seed1.5-VL视觉-语言多模态大模型，20B参数狂揽 60 项公开评测基准中38项SOTA！

字节发布Seed1.5-VL视觉-语言多模态大模型，20B参数狂揽 60 项公开评测基准中38项SOTA！

2025-06-06 20:14:29 921

原创中科院提出多方协作注意力控制方法MCA-Ctrl，无需调优的即可使用文本和复杂的视觉条件实现高质量的图像定制。

中科院计算所团队提出MCA-Ctrl方法，实现高质量图像定制。该方法通过协调多个扩散过程的注意力控制，无需调优即可完成文本和复杂视觉条件下的主体图像生成与编辑。MCA-Ctrl采用主体定位模块解决特征混淆问题，在动物、人物和物体等多种场景中保持主体特征的同时满足用户需求。实验表明，其性能优于现有微调模型。论文及代码已开源。

2025-06-06 20:13:06 481