RA AI衍生者训练营的博客

人工智能就像拥有一个超级聪明的助手，它可以学习、适应并不知疲倦地工作以理解您的数据并帮助您做出更好的决策。从定义明确的目标到选择合适的工具并有效扩展，每个步骤都至关重要，以确保您的 AI 计划取得可衡量的成果。而是要以符合您的业务目标、增强您的流程和增强您的团队能力的方式嵌入 AI。在这篇博客中，我们将讨论人工智能对您的业务的真正意义、它如何为您创造奇迹以及将其付诸实践的步骤。没有废话，只有您需要了解的内容。明确的人工智能实施策略可确保您不仅顺应趋势，而且做出能够为您的业务增加真正价值的深思熟虑的选择。

AIAgent 的定义AI Agent 是一种软件程序，可以感知环境、做出决策并采取行动，以实现预定的目标。研究表明，它通常基于人工智能技术，特别是大型语言模型（LLM），能够自主完成任务，如自动化客户服务或数据分析。开发AIAgent 的步骤定义问题：明确 AI Agent 需要解决的任务或目标，例如回答客户查询或自动化调度。选择技术：选择适合的 AI 框架和编程语言，如 Python，并使用如 TensorFlow 或 PyTorch 的工具。数据收集和准备。

MangaMaker这个插件真的让人惊讶，还记得小时候我们经常看的日本漫画风格吗？现在你自己也可以做了。提供多种漫画风格布局的页面，每个单独提供异步的AIGC能力配置，在RA/SD中你可以有趣的摆完这个插件的能力。唯一要注意的是，自动化的一些内容前提需要配置正确。请仔细阅读相关配置内容。

SadTalker是一个强大的数字人相关的RA/SD插件。它本身是一个非常独立的产品。你只需要提供一段视频，一段文字，简单的配置，在RA/SD中简单的生成即可。视频中人物的嘴唇很好的应对了你要发声的文字内容。效果很赞。仔细学习后体验下吧。

IS-NET-Pro这个插件真的让人惊讶，可以视频转帧图片，也可以将帧图片序列转换成视频。同时还有抠图等功能。当然你需要了解一些视频和图片关系的基本概念，比如一帧视频对应了多少个图片是由FPS决定的。这个插件在启动的时候，会下载一个模型。RA中已经默认帮你下载好。我们将准备好的目录给出，设定输出视频的FPS。我们主要介绍视频转序列帧。

本文不是介绍一个单一的插件，而是一个组合使用。涵盖了Segmention插件和GroundingDINO的使用，ControlNet的使用和QRPattern模型的使用.需要勾选GroundingDINO，然后在output中生成的3张结果mask图中选择一张。首先使用Segment Anything插件，将一个图片中人物的造型，弄出一个蒙版来。看的出来，是不是若影若仙风景中有个女子的轮廓？最大1，值越大，最终效果约明显。是不是这么美丽的一副风景画，中间是一个刚才我们设定的美女轮廓？这样的话，感觉也可以。

Pathway 是一个高性能、低延迟的 Python ETL（Extract, Transform, Load）框架，专为流处理、实时分析、大型语言模型（LLM）管道以及检索增强生成（RAG）设计。它提供了一个简单易用的 Python API，开发者可以无缝集成常用的 Python 机器学习库，例如 LangChain 或其他嵌入模型。Pathway 的代码设计兼顾开发和生产环境，能够高效处理批处理和流式数据。官网地址：https://pathway.com/

BEARCUBS的基准测试，旨在评估具备计算机使用能力的网络代理在实时网络环境中的信息搜索和多模态交互能力。文档详细阐述了BEARCUBS的设计理念、构建过程、实验结果及当前代理的局限性，强调其通过实时性和多模态性区别于现有基准的创新性。通过人类与代理的性能对比，文档指出现有代理在可靠来源选择和多模态能力上的不足，并提出了改进建议。BEARCUBS通过定期更新保持挑战性，为未来网络代理研究提供了重要参考。

名称中的 IP 指的是 Image Prompt 图像提示，它和 T2I-Adapter 一样是一款小型模型，但是主要用来提升文生图模型的图像提示能力。IP-Adapter 自 9 月 8 日发布后收到广泛好评，因为它在使用图生图作为参考时，对画面内容的还原十分惊艳，效果类似 Midjourney 的 V 按钮。IP Adapter比reference的效果要好，而且会快很多，适配于各种stable diffusion模型，还能和controlnet一起用。叠加之后， 这个人脸的角度也相似了吧。

当然带来的效果质量，只能说中等。当然配上强化要求的关键字，可以针对不同的图片和区域，强化某些部位的颜色展示。就需要你的才华的发挥了。实际上我们针对颜色的处理可以使用语义分割，或者边缘检测后单独处理，reColor相对方便的内置算法，帮我们自动的一体化处理。ControlNet中的 Tile/Blur 中有个上色的与预处理器。重要心得， 模型的不同对于色系影响不是非常大。这里我给的是一张老建筑的照片。你可以给一张黑白色的人物照片，可能效果更明显。比如下图，我用几个高质量的。需要注意，此时的模型要选择。

开源状态：是否为开源，影响灵活性和社区贡献。成本：是否涉及使用费用，特别关注云服务的定价模型。扩展性：数据库处理向量数量的能力，分为高（数十亿向量）和非常高（数十亿以上）。性能：包括查询时间和索引时间，基于行业基准测试如 ANN Benchmarks 和 VectorDBBench。支持数据类型：除了向量和元数据，是否支持其他类型如 JSON、数组等。ML 集成：是否支持与机器学习框架（如 PyTorch、TensorFlow）和嵌入模型（如 Hugging Face、OpenAI）的集成。易用性。

上一节中我们介绍了ControlNet中使用OpenPose插件的能力本节我们介绍如何用ControlNet来制作艺术性的二维码。大家学习过我们的初级课程的化，应该还记得有标准二维码制作的课程。具体见：4-23 QRTookit 二维码生成。本文在这个基础之上使用一些不同的方式，比如LoRA模型的套用，卡通大模型的混合等实现更加艺术呈现的艺术二维码。把传统古板的不那么好看的传统二维码，变成有各种色彩和有趣画面的艺术二维码总是一种更有趣，更好的选择。

当然带来的效果质量，只能说中等。当然配上强化要求的关键字，可以针对不同的图片和区域，强化某些部位的颜色展示。就需要你的才华的发挥了。实际上我们针对颜色的处理可以使用语义分割，或者边缘检测后单独处理，reColor相对方便的内置算法，帮我们自动的一体化处理。ControlNet中的 Tile/Blur 中有个上色的与预处理器。重要心得， 模型的不同对于色系影响不是非常大。这里我给的是一张老建筑的照片。你可以给一张黑白色的人物照片，可能效果更明显。比如下图，我用几个高质量的。需要注意，此时的模型要选择。

所谓绘图和造字，核心原理也是将文字或者绘图以一个参照图的形式，中间使用ControlNet对应的分割，影响逻辑，和对应的算法。影响到最终生成的图的目的。ControlNet中打开Canny边缘检测，选择我们手写的那张图作为边缘检测的参考。这种特殊的使用，实际上针对实际的业务需求有更明确的效力。上一节我们介绍了如何在ControlNet下制作三维重建。这一节我们主要介绍ControlNet中的绘图与造字。RA/SD 衍生者AI训练营。我们手写一个字，像这样。

最常用的需求就是我们通过某些设备将某些古建筑扫描成点云数据，或者我们去登月后获得的数据都是2D平台的。此时我们需要通过三维重建的方式，以一种3D的方式呈现这些内容的能力。提供了一张风景图，然后选择对应的大模型后，用图生图，通过2个ControlNet 单元控制，实现开通三维重建。而RA/SD以其强大的图片处理能力，也能将2D平面的图形，做初类似2.5D的类三维视角的图片。就是将2D的内容，或者3D的场景但是2D数据的内容，还原到3D的需求。2个Unit的控制，一个用深度图，一个用法线图。

通常我们可以比较粗鲁的在关键词中，输入Unreal Engine等著名三维引擎的名字，让RA/SD生成更加自动添加光线的内容。如果想对生成的图片进行打光，可以在 img2img 模式下，把光源图片上传到图生图区域，ControlNet 中放置需要打光的原图，ControlNet 模型选择 Depth。但是在AIGC图片的生成环节相对控制较少，但是为了要生成品质好的作品，光源的控制，光线的控制和处理，始终是一个重要的内容点。光源的控制，我们以前在三维场景的设计或者三维引擎的使用中，会经常使用。

Reference参考图的方式，真的就是像名字说的一样。比如参考人物的姿势形态，这个就非常有用。毕竟OpenPose控制的太细节了，如果有现成的图，可以直接参考使用。结果用ControlNet 设置的reference预处理器模式，同时给的参考图是一个这么严肃的人垂直走路的样子， 哈哈。所以最终出来的小狗，在草地上这种样子的行走。可以理解为垫图，AI 会根据上传的图片进行物体和风格的参考进行重新绘制，也可以通过关键词描述改变物体动作或形态。本节 主要介绍ControlNet中的reference参考图。

反面关键词：lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry。主要的设计思路和方式是通过另外一个图片的影响，使用某种算法参与混合的效果，最终生成我们要的复杂需求图片。

和没有使用 ControlNet控制的直接重绘对比下图。尤其我们使用Depth深度图，感觉立体效果和融合效果，差很多。我们之前的基础课程中，也有用图生图的能力，见该课程 3-5 局部重绘操作实现人物换脸。设置2道ControlNet控制， Unit0 控制 重绘， Unit1 ，控制使用深度。总体来看，通过使用ControlNet多Unit的控制，使得重绘的效果更好了些。模型文件：control_v11p_sd15_inpaint.pth。使用 Inpaint 控制稳定的扩散。具体的大家自行判断吧。

与官方的 Instruct Pix2Pix 不同，该模型是用 50% 指令提示和 50% 描述提示进行训练的。例如，“一个可爱的男孩”是描述提示，而“让男孩可爱”是指令提示。有点和Reference类似，不同的是一个通过图片，一个是通过文字，或者说指令。但最终形成的都是RA/SD处理过程中参考对象的内容或者数据。实际上通俗的理解，我们可以认为，编写一个指令，去影响这个最终图片。可以看到，大火的结构样子还是和这个建筑物有点关系的。另外，“将其变成 X”之类的指令似乎比“将 Y 变成 X”效果更好。

随着人工智能系统变得越来越强大和普及，与之相关的安全问题也越来越多。让我们来看看 2024 年人工智能安全的现状——评估威胁、分析漏洞、审查有前景的防御策略，并推测这一关键领域的未来可能如何。

到目前为止，我们已经看到许多公司推出的产品都打着流行的“人工智能驱动”的标语作为营销策略。然而，由于急于尽快发布人工智能产品，我们发现这些产品通常与用户关系不大，或者根本不起作用。