w风雨无阻w的专栏

就像你请一个画家画画，得先告诉他你想要画什么，背景是啥，人物是啥，穿啥衣服，甚至要不要带点光影效果？如果你不设置反向提示词，AI可能会犯错误，比如生成出一张模糊的图，或者人物的五官变得有点怪怪的。简单来说，正向提示词告诉AI：“嘿，我想要画的是一个金发长发、微笑着的女孩，穿着白裙子，站在阳光明媚的森林里，最好是超高清8K！在你动手创作前，不妨再看一下大神们的作品和提示词，别忘了参考和借鉴，这样你会越写越得心应手。，你可以随时查看各种提示词的参考列表，看看别人是怎么写的，然后灵感满满，创意飞扬！

今天，我们探讨了风格迁移类模型和重绘控制类模型，它们将让你的创作更加自由、多样。从风格迁移到局部修图，从姿态控制到图像重上色，ControlNet 为AI绘画提供了无尽的创意空间。下一课，我们将深入探讨ControlNet的其他高级应用，敬请期待！有任何问题或者想法，欢迎在评论区和我互动，我们下课见！

ControlNet 的结构类模型是帮助我们在图像中提取和控制空间、结构与纹理的强大工具。你可以用这些模型来调整图像的深度感、物体的分割区域，甚至是表面细节的表现。简单来说，这些模型就像是给你的AI绘画添加了一双“超级眼睛”，能够让它看得更远、更清晰，甚至更细腻！景深（Depth）语义分割（Segmentation）和法线贴图（Normal）。听起来是不是很酷？接下来我们一一看！根据不同的需求和场景，选择适合的结构类模型想要突出图像的深度感？选择或Depth-ZoE。需要更清晰的深度细节？选择。

最大程度还原照片？选Canny！只想控制构图，给AI更多空间？选Softedge！想要写实风格？选Lineart！建筑设计？选MLSD！给AI更多创作空间？选涂鸦（Scribble）！在下一篇文章中，我们将带你进入更深的ControlNet使用技巧，讲解如何在实际生成中应用这些模型并解决常见问题！想不想知道如何在最短时间内提高绘图的效率和质量？敬请期待，下一篇文章，我们继续探索ControlNet的强大奥秘！

今天我们通过几个简单的例子，已经初步了解了ControlNet是如何工作的。预处理器用来提取关键信息，帮助生成更符合预期的图像；控制模型用于调整和优化结果，确保最终效果符合你的需求。在接下来的课程中，我们将深入探讨更多ControlNet的强大功能和应用技巧。感兴趣的小伙伴，记得持续关注我们的后续教程，更多实战案例等你来学！如果你对这些技术细节感到头大，不要担心，接下来的篇章会用更简单易懂的方式帮你彻底搞懂它！加油，继续关注，下一课我们一起深度探索ControlNet的进阶玩法！

当我们要求dall e3 去修改 或者重新创作一份之前的图像，dall e3 会自动从原来的图像中获取seed 值，在新的绘画中引用 seed 值，图片描述: 是根据我们提供给dall-e3的提示词，自动生成4个不同的图片描述 ，并确保每个图片描述在3句话以上。照片风格 ：决定了绘画结果，目前包含的风格有：照片，油画，水彩画，插图，卡通，绘图，矢量，渲染。首先，我们通过使用案例演示的方式，介绍一下 DALL.E3 模型 的基础使用方法。DALL.E3 影响绘图结果的主要有5个参数，下面分别进行介绍。

不同于其他图像生成模型，DALLE-3基于用户的文字描述，可以产生出与描述内容相符的，具有很高准确性的图片。总的来说，DALLE-3模型以其优越的性能，对于实现文字描述到高质量图片的翻译具有重要的价值，开启了人机协作创建图像的新方式。高准确性：DALLE-3通过对文本的深度理解，能够生成非常符合文本描述的图像，准确性显著高于许多其他类型的图像生成模型。强大的处理能力：DALLE-3在图像质量和生成速度上表现优秀，其能处理大量的信息，进行高质量和快速的图像生成。

LORA是一种在消耗更少内存的情况下，加速大型模型训练的训练方法，在stable diffusion中它允许使用低阶适应技术来快速微调扩散模型。需要注意的是，每个 LORA 模型对输出图像的权重设置是非常重要的。权重设置越大，对画面的影响因素就越浅。因此我们在这里将重点介绍 LORA 模型相关的知识：包含LORA模型的原理、安装、使用、Lora模型的类型。好了，今天的内容就介绍到这里，下一篇，我们将继续介绍Lora 模型的类型，敬请关注。在上一篇文章中，我们已经对比了三者的区别，感兴趣的朋友，请前往查看。

Checkpoint模型包含生成图像的所有必要信息，我们可以通过其文件大小来识别，Checkpoint 它们的体积范围从 2 GB 到 7 GB不等，Hypernetwork通常低于 200 MB。在上一篇文章中，我们详细介绍了 embedding 的定义、作用以及如何安装使用 ，相信看过的朋友都知道，embedding 是属于一种将提示词打包的模型微调技术。好了，今天的内容就分享到这里，后面我们将持续分享有关 Stable Diffusion 的干货，喜欢的朋友请关注我，我们下次再见。

那在上一篇中只是简单提到了Embedding， 对于我们实际使用stable diffusion过程中，可能很多朋友对Embedding的概念还不是很清楚。今天我们就来详细介绍一下Embedding， 它到底是干嘛的？在使用stable diffusion进行绘画时，Embedding可以用于将输入的图像转换为向量表示，以便于算法对其进行处理和生成新的图像。在 Stable Diffusion 中，Embedding 技术就可以被理解为一种组件，它可以将输入数据转换成向量表示，方便模型进行处理和生成。

选择张嘴提示词， 会弹出权重操作按钮，然后我们点击三次，增加权重图标按钮，此时提示词输入框内会自动增加提示词的权重。那有没有其他方法制作数字人视频，既能达到让数字人张嘴说话的效果， 效率又更高，还可以使用非正面图的方式呢？上面我们已经获得了人物张嘴的图片，那么接下来，我们使用剪映，加上配音和字幕，即可制作人物开口说话视频了。尤其是显卡和显存比较低的朋友，想要制作一个长时间的视频，效率更低。因此我们先使用闭嘴的图，然后在5帧的地方，切换张嘴的图即可实现。选中两个片段，然后鼠标右键，新建复合片段，打组。

想必大家经常看到，无论是在产品营销还是品牌推广时，很多人经常以数字人的方式来为自己创造财富。：可以使用chatgpt 生成文案，再使用配音工具生成音频，保存起来。其实很简单，只需要在stable diffusion上安装sadtalker插件就能轻松生成自己的数字人。图片： 准备一张人物正面图片，我们可以用sd 文生图或图生图功能生成，也可以是其他的图片。姿态样式： 人脸姿态，一共47个数字，每个姿态都不一样，大家可自行测试选择喜欢的姿态。这里再演示一下，使用sd 图生图，生成一张正面图片的步骤。

它包含了一套强大的命令行程序，可以执行各种音视频处理任务，例如格式转换、剪辑、合并、解码、编码、截图等。我们下载SadTalker 后，会得到名字为：SadTalker-main.zip的压缩包。下一篇，我们将介绍 Sadtalker 工具的简单使用，生成一个会说话的数字人，敬请期待。如果下载比较慢，或者无法下载的朋友，可以前往我这里已下载好的。如果下载比较慢，或者无法下载的朋友，可以前往我这里已下载好的。如果下载速度比较慢，也可以去我已经下载好的地址进行下载。至此，Sadtalker 安装就完成了。

根据图片的参数，我们发现主模型用的是 Chilloutmix-Ni-pruned-fp32-fix ，当然还有 Lora 模型 hanfu2.0，如果本地没有安装的朋友，请先下载安装。为了让大家更直观的了解图生图功能，明白图生图功能到底是干嘛的，能做什么事情？各位朋友，可以根据我的步骤一边进行实操，一边进行理论知识的学习，这样能提高学习效率。将右侧正向提示词和反向提示词分别复制，粘贴到webui 图生图的提示词输入框。上述参数设置OK后，直接点击“生成”按钮，将生成后的图片发送到文生图即可。

反推提示词是Stable diffusion图生图中的功能，图生图的基础逻辑是通过上传的图片，可使用反推提示词或自主输入提示词，基于选择的Stable diffusion模型进行生成相似风格的图片。最近发现有很多朋友把二维码艺术化变成一张非常好看的图片，看着效果不错，毕竟现在二维码的的应用太广了，而现在大多数二维码，都一堆的小黑点，毫无美感可言。今天我们继续介绍图生图的实用案例-精美二维码的制作。比如4个， 设置完成后，需要点击顶部“保存设置”按钮，然后再点击“重载前端”按钮，重新加载界面。

我们见识到了借助 Stable Diffusion的文生图功能，利用简单的几个单词，就可以生成完美的图片。这是因为在上述步骤中，只处理了面部细节，对其他部分并未进行处理，那么此时我们还需要进行后期处理。为了让大家更直观的了解图生图功能，这里以几个实用价值比较高的案例来介绍图生图功能到底是干嘛的，能做什么事情？而这种模式，是图片生成前，在潜空间内先进行缩放，这种缩放，每次出图的效果不太一样，有微小的差别。各位朋友，可以根据我的步骤一边进行实操，一边进行理论知识的学习，这样能提高学习效率。

在 Stable Diffusion中目前已经有很多采样方法 ，不同的采样方法，出图效果不同。这里将详细介绍这些采样方法，以及在使用 Stable Diffusion 的过程中，怎么选择合适的采样方法。

大家都经常听到有人说，Stable Diffusion是一种潜在扩散模型（Diffusion Models）。那我们先弄明白什么是扩散模型？为什么叫扩散模型呢？因为它的数学公式看起来非常像物理上的扩散现象。

它不但能直接将 WebUI 中的中文提示词转换为英文，还能一键为关键词加权重，更能建立常用提示词库，这对于英语不熟练的朋友非常实用。今天的内容分为两部分，一是prompt-all-in-one插件的介绍，具体有些什么功能，应该如何使用？二是如何安装这款插件。prompt-all-in-one 插件安装成功后，为了更方便的使用，可以进行以下设置，当然也可以不设置，直接使用默认的。

大家都知道，提示词是整个Stable Diffusion ai 绘画的灵魂，那么应该我们怎么来写提示词呢？什么样的提示词是优秀的提示词呢？这篇文章给大家介绍的提示词，很有可能是以前没有听过的，只要大家跟着我的脚步，认认真真的看完这篇文章，你一定不会为写提示词而烦恼！也一定会让你的提示词更简洁有效！相信大家在网上也看过其他博主有关提示词的知识介绍，一般主要讲解的是提示词的格式，如怎么提高权重、减少权重，以及少量的怎么让画面变得清晰这块。但是修饰词这块很少讲解，那这里就把这块内容进行补齐。

通过前面几篇AI 绘画Stable Diffusion 研究系列的介绍，我们完成了Stable Diffusion整合包的安装、模型ControlNet1.1 安装、模型种类介绍与安装，相信看过教程的朋友们，手上已经有可以操作实践的Stable Diffusion 环境了。那么本篇文章将给大家带来 Stable Diffusion 最重要也是使用最多的文生图功能介绍，由于内容比较多，这里会分成上、下两篇文章进行介绍。

目前，AI 绘画Stable Diffusion的各种模型层出不穷，哪些模型都有什么用？又该怎么使用？对于新手朋友来说，是非常大的困扰。这篇文章将会为你介绍AI 绘画Stable Diffusion的模型种类、模型的安装及使用方法、模型的下载。不同的模型有不同的画风如：线条风格、手绘风格、立体风格、科幻风格、真人风格。还有不同的概念，例如：人物、物体、动作等。这些都是目前Stable Diffusion 模型众多的原因。Stable Diffusion的模型具体有哪些种类呢，都有什么作用呢？

ControlNet1.1 是Stable Diffusion 绘画插件，在2023年4月份更新了 V1.1 版本，发布了14 个优化模型，并新增了多个预处理器，并且在原有的模型上进行了一些优化，让它的功能比之前更加好用了。shuffle模型可以称为重组模型，从shuffle模型的是使用效果来看，shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成，所以当我们找到比较好的参考图时，就可以使用shuffle模型进行图片创作。下一篇，将给大家带来，sd 各个功能模块的详细使用方法，敬请期待。

大家好，我是风雨无阻。：可以不用下载，这里只是提供，按需下载，安装方法参考我的另一篇教程：Stable Diffusion 研究（二）模型ControlNet1.1 使用教程。那么从本期开始，我将持续更新Stable Diffusion 研究系列文章，带您从入门到精通，玩转Stable Diffusion。3、安装完成之后进入解压后的整合包目录：sd-webui-aki-v4， 直接双击 A启动器.exe 运行。启动器运行依赖，以前没使用过启动器的需要安装。后续版本更新，插件的更新，都在启动器内完成。

midjourney是基于discord搭建的绘画平台，先注册discord，用discord的账号可以直接登录midjourney，完成后即可进入Midjourney对应的对话框，通过输入不同的命令来调用不同功能。说明免费用户没资格生成图片，需要去付费，以前的版本是说新用户有25张图片免费生成机会，但其实每输入一次关键词、点击一次放大、微调都算一次，所以25次免费机会很快就用完了，如果还想继续使用，还是需要购买会员。进入之后，你可以看到midjourney的公共绘画区，很多人在这里生成图片，实时更新。