生成式人工智能 - 文本反转（Textual Inversion）：一种微调稳定扩散模型的方法

最新推荐文章于 2025-03-30 00:18:49 发布
最新推荐文章于 2025-03-30 00:18:49 发布
阅读量629 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： 人工智能 Textual Inversion 文本反转
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bashendixie5/article/details/139551009
本文介绍了文本反转技术，一种用于稳定扩散模型的微调方法，允许用户通过示例图像向模型教授新概念，从而实现个性化文本到图像生成。文本反转通过寻找新嵌入向量来表示新概念，不需重新训练模型，适用于图像变化、风格迁移、概念构成等多种应用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、简述

        大型文本到图像稳定扩散模型已经展示了前所未有的能力，可以使用文本提示合成新场景。这些文本到图像模型提供了通过自然语言指导创作的自由。然而，它们的使用受到用户描述特定或独特场景、艺术创作或新实体产品的能力的限制。很多时候，用户被限制行使她的艺术自由来生成特定独特或新概念的图像。此外，使用新数据集为每个新概念重新训练模型非常困难且成本高昂。

        论文《一张图片胜过一个词：使用文本反转进行个性化文本到图像生成》提供了一种简单的方法来使得这种创作更自由。

Textual Inversion：使用一些反映特定概念的图像向基础模型传授有关该概念的新词汇。

        Textual Inversion

了解本专栏 订阅专栏 解锁全文
深入探索Stable Diffusion：Dreambooth与Textual Inversion的结合应用
m0_74337424的博客
04-16 54
我们需要为模型定义要理解的概念。
使用文本反转技术微调Stable Diffusion模型
m0_62153576的博客
04-12 87
我们需要为模型定义要理解的概念。首先建立和变量。是一个尽可能概括概念的物体或风格的单词。然后定义概念是物体（可能是图像中的物理对象）还是风格（图像中一致的模式或风格）。概念名称也用作，它用于一系列标准化句子中，帮助模型将特征与提示联系起来。在本次演示中，我们将概念命名为‘grooty’，并使用初始化令牌‘groot’。我们使用作为噪声调度器，同时设置训练的超参数。
文本反转(Text Reverse)
The_B1的博客
01-24 678
伊格内修斯喜欢用相反的方式写字。给定 Ignatius 编写的一行文本，您应该反转所有单词，然后输出它们。输入包含多个测试用例。输入的第一行是一个整数 T，它是测试用例的数量。接下来是 T 个测试用例。每个测试用例都包含一行包含多个单词的行。一行最多有 1000 个字符。对于每个测试用例，您应该输出已处理的文本。
Textual Inversion：使用文本反转个性化文本到图像的生成
weixin_47748259的博客
04-23 2584
其中包含“S* 的照片”、“S* 的演绎”等形式的提示。我们可以从上图 中生成的图像看到，利用的pseudo word和新条件文本中的语义概念可以创建新的场景。由于SD中的UNet是使用预先训练好的大规模文本到图像模型建立的，因此一个通过学文本反演学习好的嵌入可以在不同扩散模型中重复使用。因此，文章通过在预训练的文本到图像模型的文本嵌入空间中查找新词来克服这些挑战：仅使用用户提供的概念（例如对象或风格）的 3-5 个图像，我们学习通过冻结文本到图像模型的嵌入空间中的新“单词”来表示它。
Textual Inversion: 一种精调Stable Diffusion模型的方法
GarryWang1248的博客
12-17 8347
最近的文本到图像Stable Diffusion （SD）模型已经证明了使用文本提示合成新颖场景的前所未有的能力。这些文本到图像的模型提供了通过自然语言指导创作的自由。然而，它们的使用受到用户描述特定或独特场景、艺术创作或新物理产品的能力的限制。很多时候，用户被迫行使她的艺术自由来生成特定的独特或新概念的图像。此外，使用新数据集为每个新概念重新训练模型非常困难且昂贵。论文《》提供了一种简单的方法来允许这些创作自由。
Textual Inversion on diffusers
weixin_44966641的博客
12-09 1024
参考自官方文档：https://huggingface.co/docs/diffusers/training/textual_inversion_inference、https://huggingface.co/docs/diffusers/training/text_inversion?
SD模型微调之Textual Inversion和Embedding fine-tuning
haopinglianlian的博客
12-20 1204
SD模型微调方法Textual Inversion详细介绍，包括数据集准备，模型微调过程，推理过程，优缺点等。
【生成模型之二十】一种无需微调遵循文本指令的图像编辑算法—InstructPix2Pix
Jeremy_lf的博客
03-30 824
论文：InstructPix2Pix: Learning to Follow Image Editing Instructions类型：Image Editing\Text-to-Image总结：提出了一种遵循文本指令的图像编辑算法，利用GPT-3与SD生成三元图像编辑训练数据，包括输入caption、编辑指令、输出caption，利用prompt-to-prompt来保证图像非编辑内容一致；
生成式~扩散模型
whaosoft143ai的博客
02-02 1741
001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerating the Animation of Personalized Diffusion Models and Ad
【文章系列解读】AI绘图必读模型：Derambooth和Textual Inversion
JackCrum的博客
06-28 1904
总体而言，文章想要实现的效果是输入（目前看是单物体的），通过文本“a [v] [class]”，对模型进行（例如图片上坐上，输入是若干张同一只狗的图片，以及a [v] [dog]）。为了避免模型过拟合在输入的狗上，文章引入了。保留损失意指，先通过预训练模型生成若干张狗这一类的图片。
Raki的读paper小记：An Image is Worth One Word Personalizing Text2Image using Textual Inversion
Raki_J的博客
09-25 2370
跟prompt非常类似，但是用了图片在特征空间的表示来学习。
Text Inversion: 比 Lora 更简单地训练人脸【Stable Diffusion 炼丹教程】
阿道夫的博客
08-30 1024
在AI和机器学习领域，embedding是一种将离散变量（如单词）映射为连续向量的技术。这些向量代表了高维空间中的点，能够捕捉到变量之间的某些关系，如语义相似性。
浅析扩散模型与图像生成【应用篇】(二十六)——Null-text Inversion
深视
05-16 2015
本文提出一种文本驱动的真实图像编辑方法，号称是首次提出对真实图像进行文本编辑的方法。为了保证生成的图像和输入图像之间的相似性，现有的扩散过程，通常使用DDIM来进行扩散。但作者发现，DDIM扩散得到的噪声图在进行无条件采样时，能够得到很好的重建结果。而当增加了无分类器的文本条件引导时，生成结果就会有很大的偏差。为了解决这个问题，作者提出了两个举措：一是使用DDIM在无条件采样过程中得到的生成轨迹作为一个中枢轨迹；二是将无分类器引导采样时用到的空文本条件，改成了一个训练得到的文本条件。
diffusers中textual inversion微调
liguandong
09-18 491
【代码】diffusers中textual inversion微调。
[论文解析] Null-text Inversion for Editing Real Images using Guided Diffusion Models
Joselynzhao
12-09 5014
在本文中，我们引入了一种精确的反演技术，从而方便了直观的基于文本的图像修改。(i)扩散模型的关键反演。我们为每个时间戳使用单个关键噪声向量，并围绕它进行优化。我们证明了直接反演本身是不够的，但确实为我们的优化提供了一个很好的锚定。(ii)空文本优化，我们只修改用于无分类器引导的无条件文本嵌入，而不是输入文本嵌入。这允许保持模型权重和条件嵌入不变，因此可以应用基于提示的编辑，同时避免对模型权重进行繁琐的调优。在各种图像和提示编辑上进行了广泛的评估，显示了对真实图像的高保真编辑。
stable diffusion实践操作-embedding（TEXTUAL INVERSION）
weixin_43360707的博客
09-01 2652
本文专门开一节写图生图相关的内容，在看之前，可以同步关注：stable diffusion实践操作可以理解为提示词的集合，可以省略大量的提示词。后缀safetensors，大小几十kb。
Null-text Inversion for Editing Real Images using Guided Diffusion Models
qq_43800752的博客
03-27 2034
在本文中，我们介绍了一种精确的反转技术，从而有助于直观地对图像进行基于文本的修改。我们提出的反演由两个新的关键组成部分组成：（i）扩散模型的关键反演。虽然目前的方法旨在将随机噪声样本映射到单个输入图像，但我们为每个时间戳使用一个关键噪声向量，并围绕它进行优化。我们证明，直接反演本身是不够的，但确实为我们的优化提供了一个很好的锚。（ii）空文本优化，其中我们只修改用于无分类器引导的无条件文本嵌入，而不是输入文本嵌入。
textual inversion讲解
最新发布
06-19
Textual Inversion（文本反转）是一种轻量级的**文本到图像生成模型微调技术**，它通过向预训练模型（如Stable Diffusion）注入新的概念（特定物体/风格），仅需3-5张示例图像和极小的存储空间（40-100KB）即可实现...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值