大数据集群中常用到的端口(带截图)

假设有三台机器分别为node1(主) node2(从) node3(从)

node01:16010

hbase的master节点状态查看端口

node1:/4040

4040 任务运行web-ui界面端口
查看spark任务,如jobs stages 有向图等

spark: 8080 spark集群web-ui界面端口查看集群状况

spark: 7077 spark提交任务时的通信端口,通信端口

提交任务时作为参数传入

hadoop: 50070集群web-ui界面端口可以查看hdfs存储

hadoop:8020/9000(老版本) 文件上传下载通信端口

这个端口没有直观的显示

MRHistoryServer服务WEB UI页面：

http://node1:19888

Spark HistoryServer服务WEB UI页面：

http://node1:18080/
PS: 与19888端口的区别与相同是该端口基于spark ,19888基于yarn,二者都是提供任务的历史查询服务(即目的相同)

Yarn: 8088端口是yarn集群的web-ui界面

日常的使用中容易与spark集群监控界面的8080端口搞混.

点击上图的History连接,会进入spark history历史记录页面(配置了历史服务器整合的前提下)