hmyqwe的博客

HDFS 读数据流程 （1）客户端通过 DistributedFileSystem 向NameNode 请求下载文件，NameNode 通过查询元数据，找到文件块所在的 DataNode 地址； （2）挑选一台 DataNode（就近原则，然后随机）服务器，请求读取数据； （3）DataNode 开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet 为单位来做校验）； （4）客户端以 Packet 为单位接收，先在本地缓存，然后写入目标文件； HDFS 写数据流程 （1）客户端通过 Distri.

定义 HDFS(Hadoop Destributed File System)是一个分布式的文件系统，用于存储文件，通过目录树来定位文件 使用场景 适合一次写入，多次读取的场景，不支持文件的修改 优缺点 优点 高容错性 数据自动保存多个副本。它通过增加副本的形式提高容错性 某一个副本丢失后，它可以自动恢复 适合处理大数据 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据 文件规模：能够处理百万规模以上的文件数量 可构建在廉价机器上，通过多副本机制，提高可靠性 缺点 不适合低延时数据