hdfs面试题(大全)

最新推荐文章于 2025-06-09 20:20:44 发布

chengzi_home

最新推荐文章于 2025-06-09 20:20:44 发布

阅读量510

点赞数

CC 4.0 BY-SA版权

分类专栏： HDFS面试题大全文章标签： hadoop hdfs 大数据分布式

本文链接：https://blog.csdn.net/chengzi_home/article/details/110850596

本文详细探讨了HDFS的多个核心概念，包括文件块大小设定、副本存放机制、数据的写入和读取流程、数据完整性保障策略、NameNode与Secondary NameNode的工作机制、集群安全模式操作以及NameNode的多目录配置。此外，还分析了HDFS在存储大量小文件和低延迟数据访问方面的局限性，并提出了相应的解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.HDFS 文件块大小设定

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M

2.HDFS副本存放机制

网络拓扑

在本地网络中，两个节点被称为“彼此近邻”是什么意思？在海量数据处理中，其主要限制因素是节点之间数据的传输速率——带宽很稀缺。这里的想法是将两个节点间的带宽作为距离的衡量标准。

节点距离：两个节点到达最近的共同祖先的距离总和。

例如，假设有数据中心d1机架r1中的节点n1。该节点可以表示为/d1/r1/n1。利用这种标记，这里给出四种距离描述。

Distance(/d1/r1/n1, /d1/r1/n1)=0（同一节点上的进程）

Distance(/d1/r1/n1, /d1/r1/n2)=2（同一机架上的不同节点）

Distance(/d1/r1/n1, /d1/r3/n2)=4（同一数据中心不同机架上的节点）

Distance(/d1/r1/n1, /d2/r4/n2)=6（不同数据中心的节点）

3.HDFS数据写入流程？

1.client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，
2.NameNode检查目标文件是否已存在，父目录是否存在，检查权限。（若通过检查，直接将操作写入编辑日志（edits））,返回是否可以上传
3.client 按block块大小进行切分，形成数据队列，之后请求上传第一个 block；
4.NameNode 根据配置文件中指定的备份数量及副本放置策略进行文件分配，返回可用的 DataNode 的地址，如：A，B，C
5.client 请求 3 台 DataNode 中的一台 A 上传数据（本质上是一个 RPC 调用，建立 pipeline），A 收到请求会继续调用 B，然后 B 调用 C，将整个pipeline 建立完成，后逐级返回 client；
6.client 开始往 A 上传第一个 block（先从磁盘读取数据放到一个本地内存缓存），以 packet 为单位（默认 64K），A 收到一个 packet 就会传给 B，B 传给 C；A 每传一个 packet 会放入一个应答队列等待应答
7.数据被分割成一个个 packet 数据包在 pipeline 上依次传输，在pipeline 反方向上，逐个发送 ack（命令正确应答），最终由 pipeline中第一个 DataNode 节点 A 将 pipeline ack 发送给 client;
8.当一个 block 传输完成之后，client 再次请求 NameNode 上传第二个block 到服务器

底层实现

1.客户端通过调用DistributedFileSystem的create方法创建新文件。

2.DistributedFileSystem通过RPC调用namenode去创建一个没有blocks关联的新文件，创建前， namenode会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过， namenode就会记录下新文件，否则就会抛出IO异常。

3.前两步结束后，会返回FSDataOutputStream的对象，与读文件的时候相似， FSDataOutputStream被封装成DFSOutputStream。DFSOutputStream可以协调namenode和 datanode。客户端开始写数据到DFSOutputStream，DFSOutputStream会把数据切成一个个小的packet，然后排成队 列data quene（数据队列）。

4.DataStreamer会去处理接受data quene，它先询问namenode这个新的block最适合存储的在哪几个datanode里（比如重复数是3，那么就找到3个最适合的 datanode），把他们排成一个pipeline。DataStreamer把packet按队列输出到管道的第一个datanode中，第一个 datanode又把packet输出到第二个datanode中，以此类推。

5.DFSOutputStream还有一个对列叫ack quene，也是由packet组成，等待datanode的收到响应，当pipeline中的所有datanode都表示已经收到的时候，这时ack quene才会把对应的packet包移除掉。 

    如果在写的过程中某个datanode发生错误，会采取以下几步： 
    1)pipeline被关闭掉； 
    2)为了防止防止丢包ack quene里的packet会同步到data quene里； 
    3)把产生错误的datanode上当前在写但未完成的block删掉； 
    4)block剩下的部分被写到剩下的两个正常的datanode中； 
    5)namenode找到另外的datanode去创建这个块的复制。当然，这些操作对客户端来说是无感知的。

6.客户端完成写数据后调用close方法关闭写入流。

7.DataStreamer把剩余得包都刷到pipeline里，然后等待ack信息，收到最后一个ack后，通知datanode把文件标视为已完成。

    注意：客户端执行write操作后，写完的block才是可见的(注:和下面的一致性所对应)，正在写的block对客户端是不可见的，只有 调用sync方法，客户端才确保该文件的写操作已经全部完成，当客户端调用close方法时，会默认调用sync方法。是否需要手动调用取决你根据程序需 要在数据健壮性和吞吐率之间的权衡

4.HDFS数据读取流程？

1.client 发起文件读取请求通过RPC与NameNode建立通讯,
2.nameNode检查文件位置,来确定请求文件 block 所在的位置，
对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址；
这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距离 Client 近的排靠前；心跳机制中超时汇报的 DN 状态为 STALE，这样的排靠后；
3.Client 选取排序靠前的 DataNode 来读取 block，如果客户端本身就是DataNode,那么将从本地直接获取数据。
底层上本质是建立 Socket Stream（FSDataInputStream），重复的调用父类 DataInputStream 的 read 方法，直到这个块上的数据读取完毕；
4.读取完一个 block 都会进行 checksum 验证，如果读取 DataNode 时出现错误，客户端会通知 NameNode，然后再从下一个拥有该 block 副本的DataNode 继续读。
5.读完后会关闭此datanode的连接，访问下一个块最佳datanode。每个读取的块都会追加到前一个block当中直到所有块读完，形成最终的文件。

底层实现

1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例。
2.DistributedFileSystem通过rpc获得文件的第一批block的locations，同一个block按照重复数会返回多个locations，这些locations按照hadoop拓扑结构排序，距离客户端近的排在前面。
3.前两步会返回一个FSDataInputStream对象，该对象会被封装DFSInputStream对象，DFSInputStream可 以方便的管理datanode和namenode数据流。客户端调用read方法，DFSInputStream最会找出离客户端最近的datanode 并连接。
4.数据从datanode源源不断的流向客户端。
5.如果第一块的数据读完了，就会关闭