dolphinscheduler 存储未启用

在使用 Helm 部署 DolphinScheduler 时，可以通过官方或社区提供的 Helm Chart 来简化部署流程。DolphinScheduler 是一个分布式、易扩展的可视化工作流任务调度平台，支持多种任务类型（如 Shell、SQL、Python 等），适用于大数据和复杂业务场景的任务编排。 ### 安装前准备 1. **安装 Kubernetes 和 Helm** 确保已经安装并配置好 Kubernetes 集群，并且 Helm 已经安装在客户端环境中。可以使用如下命令验证 Helm 是否安装成功： ```bash helm version ``` 2. **添加 DolphinScheduler Helm 仓库** DolphinScheduler 提供了官方的 Helm Chart，可通过以下方式添加仓库： ```bash helm repo add incubator http://dolphinscheduler.apache.org/dolphinscheduler-chart helm repo update ``` 3. **查看可用版本** 可以通过以下命令列出当前可用的 DolphinScheduler Chart 版本： ```bash helm search repo incubator/dolphinscheduler ``` ### 部署 DolphinScheduler 1. **默认部署** 使用默认配置部署 DolphinScheduler，执行以下命令： ```bash helm install dolphinscheduler incubator/dolphinscheduler ``` 此命令将使用默认的 `values.yaml` 文件中的参数进行部署，包括数据库（默认为 PostgreSQL）、ZooKeeper、以及 DolphinScheduler 的各个组件（如 Master、Worker、API Server 等）[^2]。 2. **自定义部署** 如果需要对部署进行自定义（例如修改数据库类型、调整资源限制、启用持久化存储等），可以先下载 `values.yaml` 文件并进行修改： ```bash helm show values incubator/dolphinscheduler > values.yaml ``` 修改完成后，使用自定义的 `values.yaml` 进行部署： ```bash helm install dolphinscheduler -f values.yaml incubator/dolphinscheduler ``` 常见的自定义配置包括： - 数据库配置：可切换为 MySQL 或其他支持的数据库。 - 资源限制：根据集群规模调整 CPU 和内存限制。 - 持久化存储：启用 PVC 以确保数据持久性。 - 启用高可用模式：适用于生产环境，确保组件的冗余与容错能力。 3. **查看部署状态** 部署完成后，可以通过以下命令查看 Pod 状态： ```bash kubectl get pods -l app.kubernetes.io/instance=dolphinscheduler ``` 4. **访问 DolphinScheduler UI** 默认情况下，DolphinScheduler 的 API Server 会暴露为 ClusterIP 类型的服务。如果需要从外部访问，可以将其改为 NodePort 或 Ingress 方式。例如，修改 Service 类型为 NodePort： ```yaml service: type: NodePort port: 12345 ``` 然后通过浏览器访问 `http://<node-ip>:<node-port>` 进入 DolphinScheduler 的 Web 界面。 ### 升级与回滚 - **升级部署** 当有新版本发布时，可以通过以下命令进行升级： ```bash helm upgrade dolphinscheduler incubator/dolphinscheduler --version <new-version> ``` - **回滚部署** 如果升级后出现问题，可以通过以下命令回滚到之前的版本： ```bash helm rollback dolphinscheduler <revision-number> ``` ### 清理部署 当不再需要 DolphinScheduler 时，可以通过以下命令卸载： ```bash helm uninstall dolphinscheduler ``` 如果希望同时删除持久化存储卷，可以在卸载时加上 `--purge` 参数（视具体 Chart 支持情况而定）。 ---

### DolphinScheduler资源中心功能与配置 #### 功能概述 DolphinScheduler 的资源中心主要用于管理任务运行所需的外部依赖文件，例如脚本、JAR包或其他类型的文件。通过资源中心，用户可以方便地上传、下载和删除这些文件，并将其绑定到具体的工作流任务中[^1]。 #### 配置方法 为了启用和使用资源中心，需完成以下几项基础设置： 1. **环境变量配置** 进入 `conf` 目录后，复制模板文件并对其进行修改以适配实际需求。 ```bash cd conf cp dolphinscheduler-env.sh.template dolphinscheduler-env.sh cp application.yml.template application.yml ``` 编辑 `dolphinscheduler-env.sh` 文件，确保设置了正确的 Hadoop 和其他相关路径。这一步对于分布式存储的支持至关重要[^3]。 2. **存储方式选择** 在 `application.yml` 中定义资源的存储位置，默认支持本地磁盘和 HDFS 存储模式。如果选用 HDFS，则需要正确填写 HDFS URI 及用户名等相关参数。 示例配置如下： ```yaml resource: storage-type: HDFS # 或 LOCAL_FS 表示本地存储 hdfs-site-path: /path/to/hdfs-site.xml core-site-path: /path/to/core-site.xml default-directory: /user/dolphinscheduler/resources/ ``` 3. **硬件资源配置** 建议为部署 DolphinScheduler 提供足够的硬盘空间，尤其是当采用 HDFS 外部存储时。官方推荐最低配置应包含至少 50GB 的可用空间，并且系统盘与数据盘分离以提高性能稳定性[^2]。 4. **启动服务** 修改完成后重启 DolphinScheduler 后端服务使更改生效。可以通过 Web UI 访问资源中心页面来验证配置是否成功应用。 ```bash sh bin/start-all.sh ``` #### 使用指南 - 登陆 DolphinScheduler 控制台，在顶部导航栏找到“资源中心”入口； - 支持批量上传多个文件至指定目录下； - 对于已存在的资源可执行预览、重命名以及权限调整操作； - 将所需资源关联至流程节点上即可实现自动化调用。