Hadoop面试总结

大数据侠客

已于 2024-03-12 16:49:09 修改

阅读量160

点赞数

CC 4.0 BY-SA版权

分类专栏：面试中所遇问题总结文章标签： hadoop 面试大数据

于 2024-03-12 16:43:37 首次发布

本文链接：https://blog.csdn.net/weixin_41367158/article/details/136656751

面试中所遇问题总结专栏收录该内容

16 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客详细总结了Hadoop面试中的关键知识点，包括HDFS的工作机制、NameNode和DataNode的角色、Hadoop集群的扩展性、MapReduce执行流程、YARN组件功能、故障恢复策略以及Hadoop配置和优化等内容。还涵盖了面试中常问的错误判断题和设计题，如NameNode与SecondaryNameNode的关系、HDFS与NFS的区别、小文件问题以及数据处理的性能优化等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

                    
                        
                    
                    下列哪个程序通常与 NameNode 在一个节点启动？答案D
 a)SecondaryNameNode
 b)DataNode
 c)TaskTracker
 d)Jobtracker
 此题分析：
 hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode（运行在单独的物理机器上）和NameNode运行在不同的机器上。
 JobTracker和TaskTracker
 JobTracker 对应于 NameNode
 TaskTracker 对应于 DataNode
 DataNode 和NameNode 是针对数据存放来而言的
 JobTracker和TaskTracker是对于MapReduce执行而言的
 mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：obclient，JobTracker与TaskTracker。
 1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每一个Task（即MapTask和ReduceTask）并将它们分发到各个TaskTracker服务中去执行。
 2、JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTr

                

了解本专栏

超级会员免费看