Hadoop与ZooKeeper:从V1到V2的安装与配置指南
1. Hadoop V1的使用与界面介绍
Hadoop V1安装完成后,能够运行Map Reduce任务,例如单词计数算法。不过,该算法似乎不会去除引号等字符,若要精确统计特定单词的使用次数,这可能会是个问题。
Hadoop提供了一组内置的用户界面,用于可视化检查Hadoop分布式文件系统或确定Hadoop服务器的状态。这些界面虽然基础,但了解它们很有必要。在大型生产系统中,可使用像Ambari这样功能更强大的系统进行监控。
- Name Node UI :端口为50070,URL为 http://hc1nn:50070/
(在名称节点hc1nn上)。该端口在配置文件 hdfs-site.xml
中通过 dfs.http.address
的值定义。Name Node UI显示存储信息和节点基本信息,还可浏览Hadoop文件系统和日志,以确定节点状态,同时能查看HDFS存储的使用和空闲级别。
- Map Reduce管理界面 :端口为50030,URL为 http://hc1nn:50030/
。该端口号对应 mapred-site.xml
配置文件中已定义的 mapred.job.tracker.http.address
变量的值。此界面显示作业状态,以及每个节点在Map和Reduce方面的容量。
- Task Tracker UI </