定制化diffusion微调: DreamBooth原理

Dreambooth是类似LoRA 模型。可以对照片的主体、风格、样式，进行微调的模型。不过据说没有LoRA模型好，LoRA可是直接对交叉注意力层进行训练调整的。

从文本到图像的“个性化”扩散模型。

在 AI 长期发展中，目前的文本生成图像模型有了显著提升，今年谷歌、OpenAI 等都接连推出了自己的图像生成模型，如 Imagen、Dall·E 2 等。这些模型能够依照给定的文本提示实现高质量和多样化的图像输出。

首先对低分辨率图像进行微调，输入的图像和prompt，prompt包含一个独特的标识符，A [V] dog，为了防止overfiting和language drift，导致模型将类名dog与具体的实例联系起来，我们提出autogenous，class-specific prior preservation loss，它利用了嵌入在模型中的关于类的语义先验，并鼓励它产生与主体相同的不同实例。但是这类技术缺乏对特定目标的复现，主要原因是输出域的表现力是有限的，对目标再详细的描述也可能产生具有不同外观的实例。

1. Dreambooth Dreambooth可以把你任何喜欢的东西放入Stable Diffusion模型。 1.1. 什么是Dreambooth 最初由谷歌在2022年发布，是对SD模型的fine-tune技术。可以把自己喜欢的东西注入到SD模型中。 为什么称为Dreambooth？根据谷歌团队的解释：它就像一个照相馆，在对这个东西拍照后，就可以合成到你梦想中的任何地方。 下面是论文中给的...

网络找图片，10~20张，jpg、png、webp等都可以，放到一个文件夹中。

SD模型微调方法DreamBooth详细介绍，包括数据集准备，模型微调过程，优缺点等。

DreamBooth，Google Research出品。仅需要3-5张目标图片，通过prompt引导就可生成该目标变体。

总体而言，文章想要实现的效果是输入（目前看是单物体的），通过文本“a [v] [class]”，对模型进行（例如图片上坐上，输入是若干张同一只狗的图片，以及a [v] [dog]）。为了避免模型过拟合在输入的狗上，文章引入了。保留损失意指，先通过预训练模型生成若干张狗这一类的图片。

批次大小设1（DB训练本身很慢，动不动十几个小时，从这里抠速度意义不大，设大了反而容易波动）。stop_next_encoder_training：控制AI对我们对数据集中打的标的认识程度，低了AI会对打的标不敏感，高了容易过拟合。这个值的计算公式：敏感程度×图像数量×max_train_epoch，比如308张图，40%的敏感度，则stop_next_encoder_training=308×0.4×200=24640。这里的重复次数乘以下面的最大训练轮数相当于插件版的epochs。

Dreambooth 是2022年谷歌发布的一种训练模型的方式，该方式通过向模型注入自定义的主题来微调扩散模型Google 团队解释了为什么给这个训练方法起这样一个名字“Dreambooth : It’s like a翻译过来大概意思就是，在一个小拍照亭（ booth：一个小黑屋，在屋子里你可以照半身像的照片）中进行拍照，无论是人物、动物或物体等等，一旦你拍照成功，那么“你便可以任由梦想带你去到任何一个场景”，即这个照片里的主角都可以被合成融入到任何的“梦想的场景”中。

使用DreamBooth实现自己的艺术创作!

LoRA: Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术，主要用于处理大模型微调的问题。目前超过数十亿以上参数的具有强能力的大模型 (例如 GPT-3) 通常在为了适应其下游任务的微调中会呈现出巨大开销。LoRA 建议冻结预训练模型的权重并在每个 Transformer 块中注入可训练层 (秩-分解矩阵)。因为不需要为大多数模型权重计算梯度，所以大大减少了需要训练参数的数量并且降低了 GPU 的内存要求。研究人员发现，通过聚焦大模型的

如果在这些路径中找不到所需的可执行文件，系统会继续在冒号后面列出的路径中搜索，直到找到所需的可执行文件或者搜索完所有列出的路径。Ubuntu 20.04是一个流行的Linux发行版，Python 3.8是这个版本的Python的一个较新的稳定版本。: 这个数字指的是NVIDIA CUDA的版本号，CUDA是NVIDIA开发的用于通用并行计算的编程架构，广泛用于深度学习和高性能计算任务。通过这种方式，你可以避免在系统的默认位置（通常是用户的主目录）中堆积过多的缓存文件。这其中的冒号，其实是一个分隔符。

Bootstrap简介 Bootstrap是来自Twitter目前最后欢迎的前端框架。Bootstrap是基于HTML、CSS、JavaScript的，它简洁灵活，使得web开发 更加快捷。 Bootstrap是一款响应式UI框架。 先区分响应式和自适应两个概念： 响应式：一套代码适应多个终端（如worktile,利仁）。 适合于展示型的网站， 功能多，或内容特效多了就不太适用了， 响应式更多的是理想状态。 自适应：多套代码，根据不同的设备加载不同的代码（如爱淘宝） 另外说一下与之有关的两个相对单位：em和