HDFS：NN、SNN、DN剖析

最新推荐文章于 2024-09-21 23:42:19 发布
原创 最新推荐文章于 2024-09-21 23:42:19 发布 · 976 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了HDFS中NameNode (NN)、Secondary NameNode (SNN)和DataNode (DN)的工作机制。NN启动时合并fsimage和edits文件；SNN协助NN进行定期的checkpoint操作；DN负责存储数据块并定期向NN报告块信息。NN在安全模式下等待足够的数据块副本达到最小副本数后才允许读写操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

namenode被格式化之后，将在HADOOP_HOME/tmp/dfs/name/current （默认）产生以下文件：

       参数：core-site.xml  ： hadoop.tmp.dir     指定hadoop运行时产生文件的存储目录

       参数:   hdfs-site.xml  :   dfs.namenode.name.dir      指定namenode产生的文件存放的目录

                                            dfs.datanode.data.dir          指定datanode产生的文件存放的目录

 

fsimage文件 : 命名空间镜像文件，HDFS文件系统元数据的一个永久性的检查点，包含HDFS文件系统的所有目录和文件的序列化信息。 查看：hdfs oiv -p [转换格式（一般用XML）] -i [输入文件] -o [输出文件]

edits 文件：记录对namenode中元数据更新的每一步操作。查看：hdfs oev -p [转换格式（一般用XML）] -i [输入文件] -o [输出文件]

seen_txid：保存最后一个edits_的数字

         每次NameNode启动的时候

最低0.47元/天 解锁文章

200万优质内容无限畅学
【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程
weixin_53543905的博客
12-25 1342
（9）客户端一次次的开始传输，一次次进行校验，直到将第一个 block 传输完成，接下来拿的第二个 block 再次请求 namenode，获取 block 要存储在那些 datanode 上，接下来执行第。（4）如果 namenode 之前返回的部分的 block 地址， 此时客户端接着再次请求 namenode， 获取下一批的 block 地址，执行第四步，以此类推，block 信息， 机架感知原理， 网络拓扑关系， 副本信息 ，本地原则，， 如果不存在直接报错， 如果存在， 接着会。
Hadoop-HDFS组件中的本地存储目录(NN/DN/SNN)结构剖析
一亩三分地
03-08 1292
HDFS metadata以树状结构存储整个HDFS上的文件和目录，以及相应的权限、配额和副本因子（replication factor）等。本文基于hadoop2.6-cdh5.16.2版本介绍HDFS Namenode本地目录的存储结构和Datanode数据块存储目录结构以及SecondaryName数据存储目录结构。 官网架构图: 一、NameNode：主 > 存储：...
8、NameNode和SecondaryNameNode工作原理
ZJ__ZFH的博客
09-10 1561
Fsimage和Edits解析 相关概念 namenode被格式化之后，将在/opt/module/hadoop-2.8.3/data/tmp/dfs/name/current目录中产生如下文件   namenode格式化后文件.png Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。 Edits文件...
Hadoop0.23.0初探3---HDFS NN,SNN,BN和HA
caizhongda的专栏
08-30 1677
前言 保证HDFS高可用是Hadoop被推广以来很多技术人员一直关心的问题，通过搜索引擎搜索也可以得到很多的方案。恰逢HDFS Federation出炉，本文将一些涉及到有关NameNode、SecondaryNameNode、BackupNode的含义与区别，以及HDFS HA框架做一个总结。除此之外，文章的最后，将介绍Hadoop-0.23.0如何配置NameNode、SecondaryNa
04、Hadoop框架HDFS NN、SNN、DN工作原理
hujieliang123的博客
02-11 2462
Hadoop框架HDFS NN、SNN、DN工作原理
HDFS组件（NN/DN/SNN）
qq_39892028的博客
11-01 869
NN: （NameNode）文件系统的命名空间 a.文件名称 b.文件目录结构 c.文件属性(创建时间 权限 副本数) d.文件对应哪些数据块—》数据块对应分布到哪些datanode节点上 blockmap,namenode节点不会持久化存储这种映射关系，集群在启动时和运行时， datanode定期发送blockreport 给namenode，以此namenode在内存中动态维护这种映射关系...
hadoop之HDFS
qq_17200461的博客
11-07 3027
Hadoop之HDFS简介功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 简介 功能快捷键 撤销：Ctrl/Command + Z 重做：Ctrl/Command + Y 加粗：Ctrl/Command + B 斜体：Ctrl/C
Hadoop的集群搭建（HA），HDFS的工作流程（读、写、nn和snn）
2401_87298680的博客
09-21 1473
1. HDFS的是基于流数据模式访问（来了一点数据，就立马处理掉，立马分发到各个存储节点来响应分析、查询等，重点关注数据的吞吐量而不是访问速度）和处理超大文件的需求而开发的一个主从架构的分布式文件系统（分布式文件系统：一种允许文件透过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间）；2. 流式数据: 将数据序列化为字节流来存储；3. 序列化：对文件进行切片就需要该文件支持序列化；4. 存储文件，通过目录树定位文件；6. 适合一次写入，多次读出的场景。
Hadoop之NN和2NN
weixin_57342469的博客
08-03 1303
NameNode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode请求。但是此刻，NameNode运行在安全模式，即NameNode的文件系统对于客户端来说是只读的。系统中的数据块的位置并不是由NameNode维护的，而是以块列表的形式存储在DataNode中。
HDFS Client & SNN
努力吧闫小胖的博客
09-10 321
Client & SNN Client SecondaryNameNode 文件切分 并非NameNode的备份 与NameNode交互，获取文件位置信息 辅助NameNode，分担其工作量 与DataNode交互，读取或者写入数据 定期合并Fsimage和Edits，推送给NameNode 管理和访问HDFS 在紧急情...
HDFS配置之NN-SNN-DN
weixin_51699336的博客
06-07 607
hadoop
Hadoop-块+小文件+hdfs架构+SNN备份流程+更改hdfs存储目录
nituoge的博客
12-03 685
1. HDFS上默认块大小和副本数 1.1 对块的理解 hadoop2.x中，hdfs-site.xml中的dfs.blocksize参数表示hdfs的块大小，默认值为134217728(bytes),即128M。它是hdfs存储处理数据的最小单元，可以根据实际需求改变块大小，但是一般不建议这么做。 文件 参数 默认值 描述 hdfs-site.xml dfs.blocksize ...
HDFS 副本策略，文件上传流程，NameNode和2NN工作机制
qq1010234991的博客
12-07 783
Hadoop副本节点选择原则 hadoop副本节点的选择是从效率和安全方面的综合考虑 1. 第一个副本在本机--目的是效率方面考虑 2. 第二个副本在同机架不同节点 3. 第三个是不同机架的不同节点上 HDFS文件上传流程 1、 client 发起文件上传请求，通过 RPC 与 NameNode 建立通讯，NameNode 检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 cl...
HDFS三兄弟（NN,DN,2NN）
resilienter的博客
12-09 735
HDFS三兄弟（NN,DN,2NN） HDFS三兄弟（NN,DN,2NN） NN NN的持久化 NN的启动 查看edits和fsimage文件 NN和DN进行通信 NN的多目录配置 2NN 2NN的辅助作用 使用2NN对NN进行恢复 DN DN的启动 服役新节点 白名单配置 黑名单配置 DN的多目录机制 HDFS2.X新特性 集群复制 归档 三兄弟叫起来比较顺口，...
从零开始的Hadoop学习（六）| HDFS读写流程、NN和2NN工作机制、DataNode工作机制
庭前云落的博客
09-01 759
这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。（1）一个数据块在 DataNode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
Hadoop之HDFS---浅谈DN、NN、SNN
热门推荐
linhao
10-08 1万+
Hadoop浅谈         在了解HDFS之前必须介绍一下hadoop以及hadoop和HDFS之前的关系：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。那么它们之间的关系可以通过下面几点了解： 1、Hadoop是google的集群系统的开源实现：   Google集群系统
06 HDSF元数据辅助管理SNN
lovetg0419的博客
12-17 265
一、元数据辅助管理SNN（secondary namenode） 1.1、架构图 1.2、执行流程（参考 ） snn 元数据辅助执行流程 第一步：将hdfs更新记录写入一个新的文件——edits.new。 第二步：将fsimage和editlog通过http协议发送至secondary namenode。 第三步：将fsimage与editlog合并，生成一个新的文件——fsimage.ckpt。这步之所以要在secondary namenode中进行，是...
secondary namenode元数据同步
wu_cai的专栏
09-12 1353
secondary namenode（sn）同步namenode(nn)元数据的过程 sn向nn请求是否需要同步元数据信息 如果需要同步，则nn会滚动当前正在写的edits.inprogressing sn把所有的edits文件和fsimage文件下载到sn（只有第一次同步会下载nn的fsimage文件，后面同步只需要下载edits文件即可） 在sn把edits文件和fsimage文件加载到内存合并
Namenode HA原理详解
weixin_30563917的博客
07-26 583
社区hadoop2.2.0 release版本开始支持NameNode的HA，本文将详细描述NameNode HA内部的设计与实现。 为什么要Namenode HA？ 1. NameNode High Availability即高可用。 2. NameNode 很重要，挂掉会导致存储停止服务，无法进行数据的读写，基于此NameNode的计算（MR，Hive等）也无法完成。 Na...
在hdfs中
最新发布
05-17
- **Secondary NameNode (SNN)**: 提供辅助功能给 NN ，帮助其完成周期性的检查点创建任务，从而减轻主 NN 工作负担，在特殊场景下还能协助恢复服务实例[^4]。 理解各部分职责有助于更好地设计集群部署方案与优化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值