文章目录
零、操作概述
- 本教程详细介绍了在一个分布式环境中部署和配置大数据分析项目的全过程。涵盖了从服务器分配、相互免密登录设置,到Nginx反向代理、Tomcat Web服务器的配置,再到Flume集群、Hadoop、Zookeeper、Hive、MySQL、HBase、Kafka和Storm等组件的安装与配置。通过逐步操作,读者将学会如何启动整个集群并检验其运行状态。此外,还包含了对LogDemo项目和1703FluxStorm项目的部署与测试方法,以及如何查看项目运行结果。这个教程旨在为大数据领域的实践者提供一个全面、详细的部署和配置参考,帮助他们顺利搭建和运行大数据分析项目。
一、服务器分配
-
应用服务器
- Tomcat (Windows)
-
日志服务器
- Nginx (park01)
- Tomcat (park02)
- Tomcat (park03)
-
Flume集群
- 收集日志的agent (park02, park03)
- 中心服务器 (hadoop01, hadoop02, hadoop03)
-
Zookeeper (Z