Hdfs启动过程及文件读写流程（精简专业版本）

最新推荐文章于 2024-03-09 10:00:37 发布
最新推荐文章于 2024-03-09 10:00:37 发布
阅读量898 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hdfs启动过程 hdfs文件读写流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40095003/article/details/90632586
本文详细介绍了HDFS的启动过程，包括四个阶段：加载fsimage和edits日志、生成检查点、进入安全模式等。同时，文章深入解析了HDFS文件的写入流程，从客户端请求到NameNode分配DataNode，再到pipeline的建立和数据确认。此外，还概述了文件读取步骤，包括客户端获取元数据、选择DataNode、接收数据并合成文件。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一.Hdfs启动过程：

 

HDFS的启动过程分为四个阶段：

第一阶段：NameNode 读取包含元数据信息的fsimage文件，并加载到内存；

第二阶段：NameNode读取体现HDFS最新状态的edits日志文件，并加载到内存中

第三阶段：生成检查点，SecondaryNameNode将edits日志中的信息合并到fsimage文件中

第四阶段：进入安全模式，检查数据块的完整性

 

 

二．Hdfs的文件写入流程

1.客户端向NameNode发出写文件请求，检查是否已存在文件、检查权限。若通过检查，直接先将操作

最低0.47元/天 解锁文章

200万优质内容无限畅学
HDFS集群启动过程详解
Amber_amber的专栏
07-29 5799
HDFS的启动过程和关闭过程都经过脚本进行了封装，只需要执行start-all.sh和stop-all.sh就可以。操作较简单。下面针对启动阶段的原理和详细过程进行说明，对关闭过程目前还没有调研，所以暂缺。 HDFS的启动分三步骤： l  第一步，启动namenode；l  第二步，启动datanode；l  第三步，启动Secondary namenode。 下面一一描述。
HDFS的启动过程
fanyun2009的博客
01-04 2931
欢迎使用马克飞象 HDFS的启动过程 HDFS的启动过程分为四个阶段： 第一阶段：NameNode 读取包含元数据信息的fsimage文件，并加载到内存； 第二阶段：NameNode读取体现HDFS最新状态的edits日志文件，并加载到内存中 第三阶段：生成检查点，SecondaryNameNode将edits日志中的信息合并到fsimage文件中 第四阶段：进入安全模式，检查数据块的完整性 H...
hdfs启动流程
weixin_44352020的博客
05-05 647
Namenode 1.init() namenode初始化，执行加载配置文件等操作 2.loadFsImage() 开始加载元数据将FsImage护额徐为目录树，保存在内存中FsImage中主要包含了问价你和数据块的对应关系 3.loadEditlog() 加载Editlog，将Editlog中记录的元数据修改应用到内存中； 4.saveCheckpoint() 将内存中最新的目录树持久化为新的F...
HDFS启动过程
火羽的博客
01-12 2671
借鉴地址http://www.linuxidc.com/Linux/2012-01/51614.htm http://blog.csdn.net/xh16319/article/details/31375197要了解hdfs的启动，首先要了解几个概念： namenode，Secondarynamenode,datanode namenode 是一个中心服务器，他控制客户端对文件的访问，是一个集
hdfs开机启动流程
鸭梨的博客
12-15 680
第一步： 加载name目录下最新的那个fsimage_xxx019文件，将里面存储的元数据（目录树结构）维护到内存中，但是还不是关机前的状态 第二步： 将关机前的最后使用的edits_inprogress_xxxx0160进行重命名 edits_0000000000000000160-0000000000000000169操作，然后生成一个最新的edits_inprogress_xxx170文件，并修改seen_txid里的值为170. 将从xxx020~xxx169的这个范围内的所有的edit日志文件加载
HDFS慢节点监控及处理
小米云技术
11-12 3877
HDFS集群随着使用时间的增长，难免会出现一些“性能退化”的节点，主要表现为磁盘读写变慢、网络传输变慢，我们统称这些节点为慢节点。当集群扩大到一定规模，比如上千个节点的集群，慢节点通常是...
精简版SQL2014，不必再安装巨大SQL了
06-25
标题中的“精简版SQL2014”指的是SQL Server 2014的一个轻量化版本，它针对那些不需要完整功能集或者硬件资源有限的用户。这个版本可能去除了不必要的服务、组件和工具，比如Reporting Services、Integration ...
HDFS Federation机制
走在前往架构师的路上
08-06 1万+
前言在上一篇文章HDFS自定义小文件分析功能中，提到了NameNod内存空间使用过高的问题,紧接着提到了其中一个解决方案，就是HDFS Federation.说来也是挺奇怪的,HDFS的Federation机制其实在Hadoop很早的版本中就就有了,可是从日常使用上来看,了解和真正使用这个功能的人并不多.原因可能在于目前对于绝大多数用户的使用场景,一个NameNode或一对HA的NameNode方式
HDFS重点
神聪程序
03-14 771
HDFS精选 提示：请先学完hadoop基础 hadoop知识点 HDFSHDFS精选前言一、hdfs概述？1) 介绍2) 优缺点3）组成4)HDFS 文件块大小（面试重点）二、hdfs shell操作1).启动集群2).基本命令介绍三 hdfs API操作1）文件创建2）文件上传3）文件下载4）文件重命名5）文件移动和重命名6）文件删除7）查看文件详情8）判断是否是文件四 HDFS 的读写流程（面试重点）1) 写数据2)读数据五 NameNode 和 SecondaryNameNode1）第一阶段：Na
HDFS启动过程+安全模式
now
11-10 413
可以通过StartUp Progress查看HDFS的启动过程： 1加载文件的元信息fsimage 2加载操作日志文件edits 3操作检查点 4自动进入安全模式，检查数据块的副本率是否满足要求。当满足要求后，退出安全模式【安全模式safemode是HDFS所处的一种特殊状态。处于这种状态时，HDFS只接受读数据请求，不能对文件进行写、删除等操作。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode回向NameNode上传它们数据块列表，让NameNode得到数据块的位置信息，
开启hdfs的脚本文件
11-29
开启hdfs的脚本文件，可以通过此文件开启hdfs，但是记得赋权喔
HDFS的启动流程和HA
qq_42456324的博客
09-10 1355
通过阅读专栏之前的内容我们知道 HDFS 集群的元数据信息是存放在 NameNode 的内存中的，当集群扩大到一定的规模以后， NameNode 内存中存放的元数据信息可能会非常大，由于 HDFS 的所有的操作都会和 NameNode 进行交互， 当集群很大时， NameNode 会成为集群的瓶颈。Active NameNode 负责所有的客户端操作，而 Standby NameNode 只是简单的充当 Slave，它负责维护状态信息以便在需要时能快速切换。
HDFS之DataNode启动过程分析
meilong_whpu的专栏
10-27 3823
创建DataNode的入口DataNode.main(String[] args)，主要的处理逻辑在方法【DataNode.createDataNode(String[] args, Configuration conf, SecureResources resources)】中，分别初始化DataNode和启动DataNode线程两大步。 一.【DataNode.instantiateData
一篇文章搞懂 HDFS 的启动流程
热门推荐
Shockang的博客
06-03 1万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 当 NameNode 启动时，从本地文件系统中读取 edits 和 FSImage 文件，将所有 edits 中的事务作用在内存中的 FSImage 上，并将这个新版本的 FSImage 从内存中写入到本地文件上，然后删除旧的 edits (这个过程称为检査点)，最后等待各个 DataNode 向 Na
Hadoop：详解HDFS启动过程及相关节点工作机制（检查点机制、安全模式）
Jodness' Blogs
04-03 3202
Namenode是集群主从结构模型中的唯一的一个管理者，它负责 管理HDFS文件系统的命名空间（namespace)：文件系统树及整棵树内的所有文件和目录的元数据，而这些信息以两种文件形式持久化地保存在本地磁盘中； 管理数据块位置信息：命名空间镜像文件(fsimage) 管理着客户端的读写操作：编辑日志文件(editlog) 同时namenode维护了块到datanode的映射，即每个...
HDFS源码分析——NameNode启动流程
机械工程跑路哥
10-03 1961
NameNode启动时，主要的几个步骤分别是： 1. `startHttpServer` 启动9870端口服务； 2. `loadNamesystem` 从磁盘加载镜像文件fsimage和edits编辑日志； 3. `createRpcServer` 创建RPC服务端 4. `checkAvailableResources` 检查磁盘空间是否充足 5. `blockManager.activate` 心跳超时判断 6. `bmSafeMode.avtive` 安全模式
hadoop系列(四)HDFS的工作机制，MapReduce，yarn流程及核心原理
qq_38130094的博客
01-08 1310
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
【HDFS】架构 二 ：HDFS的启动流程、安全模式、服务器的分类、副本放置策略、读写流程
最新发布
flowglow的博客
03-09 1110
本文提供了Hadoop分布式文件系统（HDFS）的详细架构分析，包括启动流程、安全模式、服务器分类、副本放置策略、写流程和读流程。 文章强调了HDFS在设计上对数据一致性和可靠性的重视，以及其在分布式计算环境中的高效读写能力。
[数据存储]HDFS的简介、初始化配置与运行
focus：Follow One Cause Until Success
07-07 2216
HDFS（Hadoop Distributed File System）Hadoop分布式文件系统，是Hadoop项目中关于数据存储的组件，是Hadoop项目的一部分。
Hadoop核心配置文件精简优化指南
例如，Hadoop 2.x及以上版本使用Hadoop分布式文件系统（HDFS）作为默认文件系统。此外，core-site.xml还配置了Hadoop的I/O设置，如Buffer大小、读写缓存大小等。在优化配置时，可能会针对不同规模的集群调整这些参数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值