模型部署与机器学习管道构建

# 模型部署与机器学习管道构建 ## 1. 模型部署方式 模型部署主要有两种方式：一种是完全在本地系统上运行的 Web 部署；另一种是使用从 Vertex AI 端点提供服务的模型进行 Web 部署。 ## 2. 部署模型到端点的好处 即便简单 Web 部署和端点部署的模型结果相同，将模型部署到端点仍有诸多好处： - **可扩展性**：能够扩展端点实例以处理额外负载。 - **多模型部署**：可将多个模型部署到同一端点。例如，当需要用新模型替换生产中的旧模型时，可通过调整流量分配比例，逐步增加新模型的流量，而无需更改应用程序，也不会给用户带来突兀的体验。 - **资源优化**：可将同一模型部署到不同端点，从而优化机器资源。比如，在生产和开发环境中分别部署同一模型，为生产环境配置高规格机器资源，为开发环境配置低成本机器资源。 - **监控功能**：借助端点，可启用 Vertex AI 监控，检测训练数据与生产应用数据分布的偏差（Skew）以及数据分布随时间的变化（Drift），确保模型性能不会随时间下降，避免生产数据意外变化。更多监控详情可查看文档：https://mng.bz/yWdd。 ### 模型与端点的部署场景 | 部署场景 | 描述 | | ---- | ---- | | 多模型部署到同一端点 | 模型 A 为当前生产版本，模型 B 为待引入生产的新版本。通过调整 X 和 Y 的值，可控制流向每个模型的流量比例，逐步增加新版本模型的流量。 | | 同一模型部署到多个端点 | 端点 1 具备基本计算资源，端点 2 具备足够计算资源以处理当前生产负载。这样可优化系统资源成本，满足不同用户群体的需求。 | ### 模型与端点关系的 mermaid 流程图 ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px A(用户):::process --> B(端点 1):::process A --> C(端点 2):::process B --> D(模型 A):::process B --> E(模型 B):::process C --> F(模型 A):::process style A fill:#ffffff,stroke:#000000,stroke-width:2px style B fill:#ffffff,stroke:#000000,stroke-width:2px style C fill:#ffffff,stroke:#000000,stroke-width:2px style D fill:#ffffff,stroke:#000000,stroke-width:2px style E fill:#ffffff,stroke:#000000,stroke-width:2px style F fill:#ffffff,stroke:#000000,stroke-width:2px ``` ## 3. Gemini for Google Cloud：谷歌云的生成式 AI 辅助工具 除了传统的求助方式（如查阅谷歌云文档、在 Stack Overflow 搜索或向同事请教），谷歌云还集成了基于生成式 AI 的辅助工具：Gemini for Google Cloud。它是一套针对谷歌云的生成式 AI 功能集，可简化表格数据模型的部署，并自动化机器学习管道的部分脚本编写。其主要功能包括： - 回答关于谷歌云的问题。 - 根据文本生成代码（包括 SQL 以及 Python、Java、JavaScript 等多种编程语言）。 - 解释代码。 更多关于 Gemini for Google Cloud 功能的详细概述可查看文档：https://cloud.google.com/gemini/docs/overview。 ### 3.1 设置 Gemini for Google Cloud - 为项目设置 Gemini for Google Cloud：https://cloud.google.com/gemini/docs/quickstart - 设置用于开发的 AI 辅助工具 Gemini Code Assist，以便在谷歌云的 Cloud Shell Editor 中使用：https://mng.bz/avMm 完成项目设置后，将在工具栏中看到 Gemini for Google Cloud 图标。 ### 3.2 使用 Gemini for Google Cloud 回答谷歌云相关问题 Gemini for Google Cloud 在谷歌云中有多种呈现方式： - **聊天面板**：在整个谷歌云中都可使用的聊天面板，可点击 Gemini 图标打开，输入指令并点击发送按钮，即可向其提问关于谷歌云的各种问题。例如，询问“如何创建谷歌云存储桶”，它会提供相应的操作步骤。 - **集成开发环境（IDE）**：在谷歌云支持的一系列 IDE 中可用，如 VS Code、Cloud Workstations 和 Cloud Shell Editor。在 Cloud Shell Editor 中，它可根据注释生成简单的 Python 函数。 - **查询编辑器**：在 Big Que