HDFS

简介

HDFS是Hadoop中用于进行数据分布式存储的模块

一、概述

1. HDFS中，存储数据的时候会将数据进行切块，每一个块称之为Block
2. HDFS中，主要包含2个重要的进程：NameNode和DataNode
   a. NameNode用于管理节点和记录元数据(metadata)
   b. DataNode是用于存储数据
3. HDFS会对数据自动进行备份，称之为副本（replication）。如果不指定，默认情况下副本数量为3(额外复制两次，加上原来的数据构成3个副本)
4. HDFS仿照Linux设计了一套文件存储系统

二、Block

1. 在HDFS中，数据都是以Block为单位进行存储的
2. 默认情况下，Block的大小是128M，通过dfs.blocksize来调节大小
3. 如果一个文件不足一个Block大小，则这个文件整体作为一个Block存储，并且Block的大小和文件大小是一致的
4. 会给每一个Block一个编号，称之为BlockID，通过BlockID，能够确定Block的顺序
5. 同一个Block的不同副本一定是在不同节点上，但是不同Block的副本可能在一个节点上
6. Block的意义：
   a. 为了能够存储超大文件
   b. 为了进行快速备份

三、NameNode

1. NameNode是HDFS的核心节点，用于管理DataNode以及存储元数据

2. 元数据主要包含：
   a. 文件的存储路径
   b. 文件权限
   c. 文件大小以及块的大小
   d. BlockID
   e. Block的存储节点
   f. 副本数量

3. NameNode会将元数据存储在内存以及磁盘中
   a. 存储在内存中的目的是为了快速查询
   b. 存储在磁盘中的目的是为了崩