Hadoop Yarn：新MapReduce框架解析

PDF文件

649KB | 更新于2024-08-28 | 56 浏览量 | 举报收藏

立即下载

"Hadoop新MapReduce框架Yarn详解" Hadoop MapReduce V2，也称为YARN（Yet Another Resource Negotiator），是Hadoop生态系统中针对原MapReduce框架的一次重大改进，旨在解决旧框架在大规模分布式计算环境中的性能瓶颈和扩展性问题。原MapReduce架构在处理大量作业和更大规模集群时暴露出了一些问题，如单点故障、资源管理效率低下以及任务调度不灵活等。在旧的MapReduce框架中，JobTracker承担了双重职责：作业管理和资源调度。这导致了以下几个主要问题： 1. 单点故障：JobTracker是整个框架的核心，如果它发生故障，整个系统将受到影响，这是明显的单点故障问题。 2. 资源消耗过高：JobTracker既要监控和调度所有作业，还要处理心跳信息，当作业数量增加时，JobTracker的内存开销会急剧上升，增加了系统崩溃的风险。 3. 简单的资源模型：TaskTracker仅以map和reduce任务的数量来分配资源，忽略了CPU和内存的具体需求，可能导致资源分配不合理，甚至引发内存溢出（OOM）。为了解决这些问题，YARN引入了全新的架构设计： 1. 分离资源管理和作业调度：YARN将JobTracker的功能拆分为两个独立的组件：ResourceManager（RM）和ApplicationMaster（AM）。ResourceManager负责全局资源管理，而ApplicationMaster专注于作业特定的调度和监控。 2. 分布式应用管理：每个作业都有自己的ApplicationMaster，与ResourceManager协商获取资源，然后监控和管理该作业的所有任务，这样避免了单点故障。 3. 动态资源分配：TaskTracker被替换为NodeManager，它们报告可用资源给ResourceManager，ResourceM

启停脚本

${hadoop_home_dir}/bin/start（stop）-

all.sh

${hadoop_home_dir}/sbin/start（stop）-

dfs.sh

${hadoop_home_dir}/bin/start(stop)-all.sh

新的 Yarn 框架中启动分布式文件系统和

启动 Yarn 分离，启动 / 停止分布式文件系

统的命令位于 ${hadoop_home_dir}/sbin

目录下，启动 / 停止 Yarn 框架位于

${hadoop_home_dir}/bin/ 目录下

JAVA_HOME 全局

变量

${hadoop_home_dir}/bin/start-all.sh 中

${hadoop_home_dir}/etc/hadoop/hadoop-

env.sh

${hadoop_home_dir}/etc/hadoop/Yarn-

env.sh

Yarn 框架中由于启动 hdfs 分布式文件系

统和启动 MapReduce 框架分

离，JAVA_HOME 需要在 hadoop-env.sh

和 Yarn-env.sh 中分别配置

HADOOP_LOG_DIR

全局变量

不需要配置

${hadoop_home_dir}/etc/hadoop/hadoop-

env.sh

老框架在 LOG，conf，tmp 目录等均默认

为脚本启动的当前目录下的 log,conf，tmp

子目录

Yarn 新框架中 Log 默认创建在 Hadoop

用户的 home 目录下的 log 子目录，因此

最好在

${hadoop_home_dir}/etc/hadoop/hadoop-

env.sh 配置 HADOOP_LOG_DIR，否则

有可能会因为你启动 hadoop 的用户的

.bashrc 或者 .bash_profile 中指定了其他

的 PATH 变量而造成日志位置混乱，而该

位置没有访问权限的话启动过程中会报错

由于新的 Yarn 框架与原 Hadoop MapReduce 框架相比变化较大，核心的配置文件中很多项在新框架中已经废弃，而新框架中新增了很多其他配

置项，看下表所示会更加清晰：

表 2. 新旧 Hadoop 框架配置项变化表

配置文件配置项

Hadoop 0.20.X 配

置

Hadoop 0.23.X 配置说明

core-

site.xml

系统默认分

布式文件

URI

fs.default.name

fs.defaultFS

hdfs-

site.xml

DFS name

node 存放

name table

的目录

dfs.name.dir dfs.namenode.name.dir

新框架中 name node 分成

dfs.namenode.name.dir( 存放 naname

table 和 dfs.namenode.edits.dir（存放

edit 文件），默认是同一个目录

DFS data

node 存放

数据 block

的目录

dfs.data.dir dfs.datanode.data.dir

新框架中 DataNode 增加更多细节配

置，位于 dfs.datanode. 配置项下，如

dfs.datanode.data.dir.perm（datanode

local 目录默认权限）；

dfs.datanode.address（datanode 节点

监听端口）；等

分布式文件

系统数据块

复制数

dfs.replication dfs.replication

新框架与老框架一致，值建议配置为与

分布式 cluster 中实际的 DataNode 主

机数一致

mapred-

site.xml

Job 监控地

址及端口

mapred.job.tracker 无

新框架中已改为 Yarn-site.xml 中的

resouceManager 及 nodeManager 具

体配置项，新框架中历史 job 的查询已

从 Job tracker 剥离，归入单独的

mapreduce.jobtracker.jobhistory 相关

配置，

第三方

MapReduce

框架

无 mapreduce.framework.name

新框架支持第三方 MapReduce 开发框

架以支持如 SmartTalk/DGSG 等非

Yarn 架构，注意通常情况下这个配置

的值都设置为 Yarn，如果没有配置这

项，那么提交的 Yarn job 只会运行在

locale 模式，而不是分布式模式。

Yarn-site.xml

The

address of

the

applications

manager

interface in

the RM

无 Yarn.resourcemanager.address

新框架中 NodeManager 与 RM 通信的

接口地址

The

address of

the

scheduler

interface

无 Yarn.resourcemanager.scheduler.address

同上，NodeManger 需要知道 RM 主机

的 scheduler 调度服务接口地址

The

address of

the RM web

application

无 Yarn.resourcemanager.webapp.address

新框架中各个 task 的资源调度及运行

状况通过通过该 web 界面访问

剩余11页未读，继续阅读

weixin_38692202

粉丝: 3

Hadoop Yarn：新MapReduce框架解析

Hadoop新框架Yarn详解.pdf

006_hadoop中MapReduce详解_3

Hadoop新框架Yarn详解.docx

Yarn：Hadoop新MapReduce框架应对挑战与优化

Hadoop & MapReduce实战：详解所有Java示例

Hadoop资源管理器YARN详解

Apache Hadoop：Hadoop资源管理器YARN详解.docx

Hadoop基础知识与命令详解：从HDFS到MapReduce与YARN

Hadoop MapReduce 分布式计算详解

Hadoop MapReduce工作原理详解

最新资源