starrocks安装部署

### StarRocks 安装部署存算分离架构配置指南 在6台机器上部署StarRocks并实现存储与计算分离的架构，需要详细规划每台机器的角色分配、软件安装以及网络配置。以下是针对此需求的专业指导。 #### 1. 架构概述 StarRocks支持分布式存算分离架构，其中FE（Frontend）负责元数据管理和查询计划，BE（Backend）负责数据存储和计算，CN（Compute Node）作为可选组件提供额外的计算能力[^3]。在存算分离模式下，BE节点可以连接到外部HDFS集群以实现存储扩展。 #### 2. 部署规划 根据引用内容[^2]，以下是6台机器的部署规划： | 服务器名称 | FE | BE | MySQL Client | 备注 | |---------------|------|------|--------------|--------------------------| | starrocks01 | Yes | Yes | Yes | 主要FE和BE节点 | | starrocks02 | Yes | Yes | | 备用FE和BE节点 | | starrocks03 | Yes | Yes | | 冗余FE和BE节点 | | starrocks04 | | Yes | | 独立BE节点 | | starrocks05 | | Yes | | 独立BE节点 | | starrocks06 | | Yes | | 独立BE节点 | 此外，还需要创建一个名为`starrocks`的用户和组，其ID为950，用于运行StarRocks服务[^2]。 #### 3. 基础环境准备 在所有节点上执行以下步骤以确保一致的基础环境： - **安装JDK 11**：下载并解压`jdk-11.0.24_linux-x64_bin.tar.gz`到指定路径，并设置环境变量[^1]。 - **修改机器名**：根据规划设置每台机器的主机名。 - **安装GCC**：确保系统中安装了编译工具链。 - **关闭交换分区（swap）**：通过命令`swapoff -a`临时关闭，并在`/etc/fstab`中注释掉相关行[^1]。 - **时钟同步**：使用NTP或Chrony工具保持时间一致性。 - **关闭防火墙**：执行`systemctl stop firewalld`和`systemctl disable firewalld`。 - **SELinux配置**：将SELinux设置为`permissive`模式或完全禁用。 - **LANG变量**：确保语言环境设置为`en_US.UTF-8`。 - **时区设置**：统一所有节点的时区为`Asia/Shanghai`。 - **ulimit设置**：调整文件描述符限制，例如`ulimit -n 65535`[^1]。 - **网络配置**：确保各节点间网络互通，并配置静态IP地址。 - **高并发配置**：优化内核参数以支持高并发场景。 #### 4. 存算分离配置 为了实现存算分离，需将HDFS集群的相关配置文件复制到每个FE和BE节点的指定路径下[^4]： ```bash cp /opt/module/bigdata/hadoop/etc/hadoop/core-site.xml /opt/module/bigdata/StarRocks-3.4.0/fe/conf/ cp /opt/module/bigdata/hadoop/etc/hadoop/hdfs-site.xml /opt/module/bigdata/StarRocks-3.4.0/fe/conf/ cp /opt/module/bigdata/hadoop/etc/hadoop/hdfs-site.xml /opt/module/bigdata/StarRocks-3.4.0/be/conf/ ``` #### 5. 集群部署 按照以下步骤完成集群的安装和启动： - **安装FE**：解压StarRocks安装包到目标目录，并配置`fe.conf`文件中的相关参数。 - **拷贝BE**：将BE安装包分发到所有BE节点，并配置`be.conf`文件。 - **安装BE**：启动BE服务并确保其正常运行。 - **安装CN（可选）**：如果需要额外的计算能力，可以在部分节点上部署CN。 - **安装MySQL客户端**：用于后续的数据库管理操作。 - **测试连接**：验证FE、BE和CN之间的通信是否正常。 - **WebUI访问**：通过浏览器访问FE节点的WebUI界面进行监控。 #### 6. 服务自启动配置 为了确保集群在系统重启后能够自动恢复运行，需配置各节点的服务自启动脚本[^1]： ```bash xcall /opt/module/bigdata/StarRocks-3.4.0/fe/bin/start_fe.sh --daemon xcall /opt/module/bigdata/StarRocks-3.4.0/be/bin/start_be.sh --daemon xcall /opt/module/bigdata/StarRocks-3.4.0/apache_hdfs_broker/bin/start_broker.sh --daemon ``` --- ###

### 如何安装Docker 要安装Docker，可以按照以下说明操作。对于Windows 10专业版用户来说，推荐使用Docker Desktop工具来进行安装[^3]。 #### Windows上的Docker Desktop安装 1. **下载并安装WSL2** 需要在Windows上启用WSL2子系统，并选择一个Linux发行版本作为其基础操作系统（如CentOS或Ubuntu）。可以通过Microsoft Store或者命令行完成此设置。 2. **获取Docker Desktop MSI文件** 访问[Docker官网](https://www.docker.com/)，找到适合Windows系统的最新稳定版Docker Desktop MSI安装程序链接进行下载。 3. **运行安装向导** 下载完成后双击执行MSI包，默认选项即可满足大多数需求；如果需要自定义配置路径等高级参数，则可以在界面里调整相应设定后再继续下一步骤直到结束整个过程为止。 4. **启动服务验证成功与否** 成功安装之后打开应用程序列表应该能够看到名为“Docker Desktop”的图标点击它会自动加载后台守护进程同时弹窗显示状态栏通知区域也会有鲸鱼标志代表正在正常运作当中。 --- ### StarRocks集群部署指南 以下是基于上述参考资料中的信息整理出来的关于StarRocks集群的具体实施步骤概述： #### 准备工作 - 创建统一的服务账户`starrocks`及其对应的UID/GID编号为950用于管理所有节点上的资源访问权限控制[^1]。 - 确认每台机器都已预先准备好必要的软件依赖项包括但不限于JDK (建议版本>=11), MySQL客户端库支持等功能模块。 #### 主机角色分配表 | Hostname | FE(BE)? | Mysql? | Client? | |----------------|---------|--------|---------| | starrocks01 | Yes | Yes | Yes | | starrocks02 | Yes | Yes | | | starrocks03 | Yes | | | | starrocks04 | No | | | | starrocks05 | No | | | | starrocks06 | No | | | > 注：FE表示Frontend组件负责处理SQL解析优化计划生成等工作负载而BE则是Backend主要承担数据存储计算任务两者共同协作构成完整的分布式分析型数据库解决方案架构体系结构图如下所示: ```plaintext +---------------+ | FrontEnd Node | +---------------+ | v +---------------+ +-------------+ | BackEnd Nodes | <-> | Meta Service| +---------------+ +-------------+ ``` #### 实际操作流程 1. 将官方发布的压缩归档文件解压到指定目录下形成初始的工作区环境； 2. 修改配置文件内的网络通信端口监听地址范围以及其他性能调优方面的关键数值以适配实际生产场景下的硬件条件限制情况； 3. 使用脚本批量分发相同版本号的二进制可执行单元至各个目标主机位置处以便后续同步初始化动作得以顺利开展起来； 4. 启动各实例并通过日志监控确认无误后便可投入使用阶段了。 另外值得注意的一点是在实践过程中可能会碰到各种预料之外的技术难题这时候就需要参照类似文档描述的经验教训加以克服解决比如提到过的那位作者就曾经花费不少精力去深入理解产品内部工作机制原理从而更好地定位根源所在最终达成预期效果目的[^2]。 --- ### 自制Apache Doris镜像案例分享 除了直接采用原厂提供的标准发行版本外还可以尝试自己动手打造专属定制化的容器映射方案例如下面这个例子就是利用开源项目资料指导完成了针对特定业务诉求量身定做的轻量化移植改造工程成果展示: ```bash docker build -t my-doris:latest . ``` 通过编写Dockerfile定义好基础层面上所需的软硬件设施清单再加上额外附加功能扩展部分就能轻松获得一份独一无二的作品供团队内部交流学习参考之用了！ ---