linux Flink集群安装
时间: 2025-05-30 16:27:21 浏览: 35
### 安装和配置 Flink 分布式集群
#### 准备工作
在安装之前,需确认已准备好以下环境:
- Java JDK (建议版本 8 或更高)[^1]。
- Hadoop 集群(可选,如果计划使用 HDFS)[^2]。
- Zookeeper 集群(用于高可用性场景下协调服务)[^3]。
#### 下载并解压 Flink
从官方站点下载适合的 Flink 版本,并将其解压缩到目标目录。例如:
```bash
wget https://archive.apache.org/dist/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz
tar -xzvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/installs/
```
完成之后,可以同步文件至其他节点以实现一致性部署:
```bash
xsync.sh /opt/installs/flink
```
此操作会将 Flink 的二进制包复制到所有指定节点上。
#### 修改全局变量
编辑 `/etc/profile` 文件,在其中添加 Flink 和相关工具路径以便于后续调用:
```bash
export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
source /etc/profile
```
同样可以通过脚本来分发这些更改给整个集群中的每台机器:
```bash
xsync.sh /etc/profile
```
#### 启动顺序
按照如下流程依次启动所需的服务组件:
1. **Zookeeper**
如果采用外部管理方式,则需要手动开启各个节点上的 zookeeper 实例;而在实验阶段可以直接利用内置脚本简化过程:
```bash
./bin/start-zookeeper-quorum.sh
```
2. **HDFS**
对应大数据存储层部分,执行下面指令来激活 NameNode 及 DataNodes 组成的整体框架结构:
```bash
start-dfs.sh
```
3. **Flink Cluster**
接着便是正式进入主题环节——触发 JobManager 和 TaskManagers 起效动作序列:
```bash
$FLINK_HOME/bin/start-cluster.sh
```
4. **History Server** (视需求而定)
若希望保留已完成作业的历史记录供查询分析之用的话,还需额外单独唤起 HistoryServer 运行实例:
```bash
historyserver.sh start
```
以上步骤均基于假设前提条件成立的情况下给出的标准指引方案。
#### 校验运行状况
最后一步就是验证整体架构是否正常运作良好。通过访问 Web UI 页面或者借助 CLI 工具发出请求获取当前在线资源概况详情等信息来进行最终判定依据标准:
```bash
$FLINK_HOME/bin/flink list
```
---
###
阅读全文
相关推荐


















