3台云服务器部署k8s hadoop
时间: 2025-02-15 07:14:10 浏览: 46
### 部署 Kubernetes 和 Hadoop 的概述
在三台云服务器上部署 Kubernetes 和 Hadoop 可以为分布式计算提供强大的基础设施支持。此过程涉及多个组件和服务的配置,包括但不限于网络设置、存储管理以及集群初始化。
#### 准备工作环境
为了确保顺利安装,每台服务器需满足最低硬件需求并预先安装必要的软件包:
- 更新操作系统至最新版本
- 安装 Docker CE 作为容器运行时引擎[^1]
- 关闭防火墙或开放所需端口以允许节点间通信
```bash
sudo apt-get update && sudo apt-get upgrade -y
curl -fsSL https://get.docker.com | sh -
sudo systemctl enable docker
```
#### 构建 Kubernetes 集群
采用 kubeadm 工具简化 Master 节点与 Worker 节点之间的协调操作流程。具体步骤如下所示:
##### 初始化 Master Node
选择一台机器作为主控单元执行以下命令来启动控制平面服务:
```bash
sudo swapoff -a # 禁用交换分区
sudo kubeadm init --pod-network-cidr=10.244.0.0/16
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubectl apply -f https://docs.projectcalico.org/v3.7/manifests/calico.yaml # 应用 Pod 网络插件
```
##### 加入 Worker Nodes
其余两台设备通过 `kubeadm join` 命令加入到现有集群中去, 具体 token 参数由 master node 输出获得.
```bash
sudo kubeadm join <master-ip>:<master-port> --token <token>
```
#### 设置 HDFS 文件系统
完成 K8S 平台搭建之后即可着手准备大数据处理框架——Hadoop 的集成事宜。这里推荐利用 Helm Chart 来加速应用层面上线速度。
首先添加 Apache Spark & Hadoop charts repository 到本地 helm client 中以便后续调用:
```bash
helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator
helm install my-hdfs incubator/hdfs
```
上述指令会自动创建 NameNode 和 DataNodes 实例,并将其挂载于先前构建好的 Kube Cluster 上面形成统一资源池供应用程序访问使用[^2].
阅读全文
相关推荐


















