生成式AI：用例、基础与项目生命周期全解析

### 生成式AI：用例、基础与项目生命周期全解析 #### 生成式AI的常见用例与任务 生成式AI作为一种通用技术，如同深度学习一样，在众多行业和客户群体中有着广泛的应用。以下是一些常见的多模态生成式AI任务及相关用例： | 任务类型 | 任务描述 | 示例用例 | | --- | --- | --- | | 文本摘要 | 生成文本的简短版本，同时保留主要观点 | 总结新闻文章、法律文件或财务报告；总结客户支持对话 | | 改写 | 修改文本措辞，以适应不同受众、正式程度或语气 | 将正式法律文件转换为不太正式的文件 | | 信息提取 | 从文档中提取信息，如姓名、地址、事件或数字数据 | 将电子邮件转换为企业资源规划（ERP）系统中的采购订单 | | 问答（QA）和视觉问答（VQA） | 直接针对一组文档、图像、视频或音频剪辑提问 | 设置内部员工聊天机器人，回答有关人力资源和福利文件的问题 | | 检测有毒或有害内容 | 询问生成式模型一组文本、图像、视频或音频剪辑是否包含任何毒性或有害内容 | 无 | | 分类和内容审核 | 为给定内容分配类别 | 删除电子邮件垃圾邮件、过滤不适当的图像、标记传入的基于文本的客户支持工单 | | 对话界面 | 通过类似聊天的界面处理多轮对话以完成任务 | 自助式客户支持聊天机器人、心理健康治疗会话聊天机器人 | | 翻译 | 语言翻译是生成式AI最早的用例之一 | 书籍的语言翻译、将基于Python的示例转换为Java | | 源代码生成 | 根据自然语言代码注释甚至手绘草图创建源代码 | 从餐厅餐巾纸上的UI草图生成基于HTML和JavaScript的网站 | | 推理 | 推理问题以发现潜在的新解决方案、权衡或潜在细节 | 结合音频和书面财务报告，发现公司健康状况的结论 | | 屏蔽个人身份信息（PII） | 使用生成式模型从给定文本语料库中屏蔽个人身份信息 | 处理敏感数据时去除PII数据 | | 个性化营销和广告 | 根据用户配置文件特征生成个性化产品描述、视频或广告 | 电子商务网站为每个产品生成个性化描述和图像 | 在这些生成式用例和任务中，模型创建的内容近似于人类对语言的理解，这得益于一种名为Transformer的神经网络架构。 #### 基础模型与模型中心 基础模型是非常庞大和复杂的神经网络模型，由数十亿个参数（即权重）组成。这些模型参数是在训练阶段（通常称为预训练）学习得到的。基础模型需要在大量的训练数据上进行训练，通常需要数周或数月的时间，使用大型分布式CPU和GPU集群。学习了数十亿个参数后，这些基础模型可以表示复杂的实体，如人类语言、图像、视频和音频剪辑。 在大多数情况下，生成式AI项目会从模型中心获取现有的基础模型开始，常见的模型中心包括Hugging Face Model Hub、PyTorch Hub和Amazon SageMaker JumpStart。模型中心是模型的集合，通常包含详细的模型描述，包括它们所解决的用例。 以下是一些可以从模型中心获取的基础模型： - Llama 2 from Meta (Facebook) - Falcon from the Technology Innovation Institute (TII) - FLAN - T5 from Google #### 生成式AI项目生命周期 虽然生成式AI项目没有确定的项目生命周期，但以下框架可以帮助你完成生成式AI应用程序的重要部分： ```mermaid graph LR classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px A([确定用例]):::startend --> B(实验和选择):::process B --> C(调整、对齐和增强):::process C --> D(评估):::process D --> E(部署和集成):::process E --> F(监控):::process ``` - **确定用例**：首先要定义项目范围，包括计划用生成式AI应用程序解决的具体用例和任务。建议从一个记录完善的单一生成式用例开始，这样可以帮助你熟悉环境，了解模型的能力和局限性，而不是同时为不同任务优化模型。 - **实验和选择**：生成式AI模型能够成功执行许多不同的任务，但需要确定现有的基础模型是否适合你的应用需求。通常从现有的基础模型开始，这样可以避免资源密集的预训练步骤，提高上市时间。选择基础模型时要考虑其大小，因为这会影响训练和服务模型所需的硬件和成本。建议尝试不同的模型，从一个记录完善、相对较小（例如70亿参数）的基础模型开始，在开发过程中，通常先在Amazon SageMaker JumpStart或Amazon Bedrock的实验环境中尝试不同的提示和模型，然后使用Jupyter笔记本或Python脚本准备自定义数据集。准备好扩展到更大的分布式集群时，迁移到SageMaker分布式训练作业。虽然最初可能可以避免使用加速器，但对于更复杂模型的长期开发和部署，很可能需要使用它们。 - **调整、对齐和增强**： - **调整**：将生成式模型适应你的特定领域、用例和任务，通过自定义数据集对多模态生成式AI模型进行微调。 - **对齐**：随着生成式模型越来越像人类，确保它们符合人类价值观和偏好，通过强化学习从人类反馈（RLHF）技术使模型更有帮助、诚实和无害。 - **增强**：生成式模型虽然包含大量信息和知识，但通常需要用当前新闻或企业专有数据进行增强。 - **评估**：为了正确实施生成式AI应用程序，需要大量迭代。因此，建立明确的评估指标和基准非常重要，以帮助衡量微调的有效性。模型评估有助于衡量模型在调整和对齐阶段的改进情况，特别是模型与业务目标和人类偏好的契合程度。 - **部署和集成**：当有了经过良好调优和对齐的生成式模型后，就可以将模型部署以进行推理，并将其集成到应用程序中。在部署过程中，可以优化模型以提高推理效率，更好地利用计算资源，减少推理延迟。可以使用AWS Inferentia系列计算实例和Amazon SageMaker端点进行部署，SageMaker端点具有高度可扩展性、容错性和可定制性，提供灵活的部署和扩展选项，如A/B测试、影子部署和自动扩展。 - **监控**：与任何生产系统一样，应该为生成式AI应用程序的所有组件设置适当的指标收集和监控系统。可以利用Amazon CloudWatch和CloudTrail来监控在AWS上运行的生成式AI应用程序，这些服务高度可定制，可通过AWS控制台或AWS软件开发工具包（SDK）访问，并与每个AWS服务集成。 #### 基于AWS的生成式AI服务与特性 AWS提供了一系列专门为生成式AI设计的服务和特性，以下是其主要组成部分及相关优势： | 角色 | 需求 | AWS提供的支持 | | --- | --- | --- | | 模型提供者 | 需要强大且经济高效的计算和存储资源来构建或预训练基础模型 | 提供优化的生成式AI计算实例，包括自管理选项（如Amazon EC2）和托管选项（如Amazon SageMaker）用于模型训练和部署；提供专门的加速器，如用于训练的AWS Trainium和用于部署的AWS Inferentia | | 模型调优者 | 需要访问存储和计算资源，以及易于访问各种基础模型的工具，同时无需管理底层基础设施 | 除了优化的基础设施，还可访问广泛的流行基础模型，以及用于调整或对齐基础模型的工具，如Amazon Bedrock和Amazon SageMaker JumpStart的内置功能 | 以下是AWS一些重要的生成式AI服务介绍： - **Amazon Bedrock**：这是一个完全托管的服务，提供对来自Amazon（如Titan）和流行第三方提供商（如AI21 Labs、Anthropic、Cohere和Stability AI）的模型的访问。它允许你快速开始使用现有的基础模型进行实验，还能使用自己的数据对基础模型进行私有定制，并将这些模型集成和部署到生成式AI应用程序中。此外，Bedrock的代理是完全托管的，允许通过集成专有的外部数据源进行额外定制并完成任务。 - **Amazon SageMaker JumpStart**：通过模型中心提供对公共和专有的基础模型的访问，包括将基础模型轻松部署到Amazon SageMaker模型部署实时端点的能力。同时，它还提供使用SageMaker模型训练对可用模型进行微调的功能，并会自动生成用于部署和微调模型中心可用模型的代码笔记本。 - **Amazon SageMaker**：通过Amazon SageMaker Studio笔记本中的托管环境提供额外的扩展性，可与任何可用的基础模型一起工作，无论该模型是否可在SageMaker JumpStart中获取。 在数据增强方面，AWS提供了多种向量存储的实现选项，用于检索增强生成（RAG），以有效地从外部数据源检索相关信息来增强生成式模型使用的数据。这些选项包括： - 用于Amazon OpenSearch Serverless的向量引擎 - 可用于Amazon OpenSearch Service的k - NN插件 - Amazon Aurora PostgreSQL和Amazon Relational Database Services (RDS) for PostgreSQL通过内置的pgvector支持提供的向量存储功能 如果你需要在特定领域数据上进行完全托管的语义搜索体验，可以使用Amazon Kendra，它会为你创建和管理嵌入。 此外，AWS还提供了多种通过端到端生成式AI应用程序访问生成式模型的选项： - **Amazon CodeWhisperer**：提供跨多种编码语言的生成式编码功能，支持提高生产力的功能，如代码生成、主动扫描漏洞并建议代码修复，以及自动提供代码归属建议。 - **AWS HealthScribe**：针对医疗保健行业的打包生成式AI服务，允许根据患者 - 临床医生对话自动生成临床笔记。 - **Amazon QuickSight Q**：内置生成式功能，允许用户以自然语言询问有关数据的问题，并接收答案以及生成的可视化，帮助用户深入了解数据。 ```mermaid graph LR classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px A([模型提供者]):::startend --> B(Amazon EC2):::process A --> C(Amazon SageMaker):::process A --> D(AWS Trainium):::process A --> E(AWS Inferentia):::process F([模型调优者]):::startend --> G(Amazon Bedrock):::process F --> H(Amazon SageMaker JumpStart):::process F --> I(Amazon SageMaker):::process J([数据增强]):::startend --> K(Amazon OpenSearch Serverless):::process J --> L(Amazon OpenSearch Service):::process J --> M(Amazon Aurora PostgreSQL):::process J --> N(Amazon RDS for PostgreSQL):::process O([应用访问]):::startend --> P(Amazon CodeWhisperer):::process O --> Q(AWS HealthScribe):::process O --> R(Amazon QuickSight Q):::process ``` 综上所述，生成式AI在各个行业有着广泛的应用场景，通过合理利用基础模型和AWS提供的一系列服务和工具，能够高效地完成从项目规划到部署监控的整个生命周期，为企业和开发者带来强大的技术支持和创新能力。