ZenML项目云环境编排指南：从本地到云端MLOps实践

ZenML项目云环境编排指南：从本地到云端MLOps实践

zenml ZenML 🙏: Build portable, production-ready MLOps pipelines. https://zenml.io. 项目地址: https://gitcode.com/gh_mirrors/ze/zenml

前言

在现代机器学习工程实践中，将MLOps流水线从本地迁移到云端是提升可扩展性和可靠性的关键一步。本文将详细介绍如何使用ZenML框架实现这一转变，帮助开发者构建完整的云端机器学习工作流。

核心概念解析

云编排基础组件

在构建云环境MLOps流水线时，需要理解两个核心组件：

1. 编排器(Orchestrator)：负责管理工作流的执行流程，决定任务如何以及在何处运行。在云环境中，编排器可以自动管理计算资源的分配和释放。

2. 容器注册表(Container Registry)：用于存储和管理Docker容器镜像的中央仓库。当流水线在云端运行时，所有代码和环境依赖都将被打包成容器镜像并推送到注册表中。

完整云技术栈

一个完整的ZenML云技术栈通常包含：

• 远程存储(Artifact Store)
• 云编排器
• 容器注册表

这三个组件协同工作，确保整个MLOps流水线完全运行在云端环境中。

云编排工作流程详解

当使用ZenML在云端运行流水线时，系统会执行以下关键步骤：

1. 客户端初始化：本地运行脚本触发流水线执行，ZenML解析流水线定义。

2. 配置获取：客户端从ZenML服务器获取云技术栈配置信息。

3. 镜像构建与推送：

   • 根据技术栈配置构建Docker镜像
   • 镜像包含代码、依赖和环境配置
   • 将镜像推送到指定的容器注册表

4. 资源调配：编排器在云端创建执行环境（如虚拟机或Kubernetes集群）。

5. 镜像拉取与执行：云端环境从容器注册表拉取镜像并执行流水线步骤。

6. 结果存储：执行过程中产生的所有工件(Artifacts)存储在远程存储中。

7. 状态同步：执行状态和元数据实时同步回ZenML服务器。

主流云平台配置指南

AWS环境配置

1. 安装必要集成：

zenml integration install aws skypilot_aws -y

2. 配置服务连接器：

AWS_PROFILE=<AWS_PROFILE> zenml service-connector register cloud_connector --type aws --auto-configure

3. 注册编排器：

zenml orchestrator register cloud_orchestrator -f vm_aws
zenml orchestrator connect cloud_orchestrator --connector cloud_connector

4. 注册容器注册表：

zenml container-registry register cloud_container_registry -f aws --uri=<ACCOUNT_ID>.dkr.ecr.<REGION>.amazonaws.com

GCP环境配置

1. 安装必要集成：

zenml integration install gcp skypilot_gcp -y

2. 配置服务连接器：

zenml service-connector register cloud_connector --type gcp --auth-method service-account --service_account_json=@<PATH_TO_SERVICE_ACCOUNT_JSON>

3. 注册编排器：

zenml orchestrator register cloud_orchestrator -f vm_gcp 
zenml orchestrator connect cloud_orchestrator --connect cloud_connector

4. 注册容器注册表：

zenml container-registry register cloud_container_registry -f gcp --uri=gcr.io/<PROJECT_ID>

Azure环境配置

由于技术限制，Azure用户建议使用Kubernetes编排器：

1. 安装必要集成：

zenml integration install azure kubernetes -y

2. 配置服务连接器：

zenml service-connector register cloud_connector --type azure --auth-method service-principal --tenant_id=<TENANT_ID> --client_id=<CLIENT_ID>

3. 注册Kubernetes编排器：

zenml orchestrator register cloud_orchestrator --flavor kubernetes
zenml orchestrator connect cloud_orchestrator --connect cloud_connector

4. 注册容器注册表：

zenml container-registry register cloud_container_registry -f azure --uri=<REGISTRY_NAME>.azurecr.io

实践：在云端运行流水线

完成上述配置后，可以创建并激活云技术栈：

zenml stack register minimal_cloud_stack -o cloud_orchestrator -a cloud_artifact_store -c cloud_container_registry
zenml stack set minimal_cloud_stack

然后运行训练流水线：

python run.py --training-pipeline

执行时，ZenML会自动完成以下操作：

1. 构建包含所有代码和依赖的Docker镜像
2. 推送镜像到容器注册表
3. 在云端创建执行环境
4. 流式传输执行日志回本地

最佳实践与建议

1. 权限管理：确保服务账号具有足够的权限执行所需操作。

2. 镜像优化：合理设计Dockerfile以减少镜像大小和构建时间。

3. 资源监控：定期检查云资源使用情况，避免不必要的费用。

4. 环境隔离：为不同环境（开发、测试、生产）配置独立的技术栈。

5. 日志管理：配置适当的日志级别和存储策略，便于问题排查。

通过ZenML的云编排功能，开发者可以轻松实现从本地开发到云端生产的无缝过渡，享受云计算带来的弹性扩展和可靠性优势。

zenml ZenML 🙏: Build portable, production-ready MLOps pipelines. https://zenml.io. 项目地址: https://gitcode.com/gh_mirrors/ze/zenml