一缕阳光的博客

今天无意中听到了同事说关于HDFS中每个block的大小，特意查了下： 从Hadoop的官网上看了各个版本的说明文档中关于 Data Blocks 的说明，发现是从2.7.3版本开始，官方关于Data Blocks 的说明中，block size由64 MB变成了128 MB的。 以下是相关连接： Hadoop 1.2.1 Hadoop 2.7.2 Hadoop 2.7.3 Hadoop 2.9.1 ...

1.HDFS读流程 HDFS读流程 1.1 、Client通过FileSystem.open(filePath)方法,与NN节点进行【rpc】协议通信，校验是否有权限是否存在，假如都ok，返回该文件的部分或全部的block的列表(包含各个block块的分布在DN地址的列表)，也就是返回【FSDataInputStream】对象； 1.2、Clinet调用FSDataInputStream.read方法。 a.与第一个块的最近的DN进行read，读取完成后，会check,假如ok，会关闭与当前的DN的

1、在HDFS里面，文件存储为什么要以Block块的方式存储？ 目的：减少磁盘寻道的时间。 (1)、不设置block：因为数据是分散的存放磁盘上的，读取数据时需要不停的进行磁盘寻道，开销比较大。 (2)、使用block: 一次可以读取一个block中的数据，减少磁盘寻道的次数和时间。 其他：block在磁盘上非连续存储的，读取数据时需要磁盘寻道。 2、为什么HDFS中块(bl...

今天由于工作需要，需要使用到hadoop fs的一些命令，就简单的总结了下： 1，hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-defaul...

hadoop的shell命令与linux下的命令类似，一般要在命名了的前面加-， 例如：hadoop fs -ls /....... 具体如下： FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文...

转载：http://developer.51cto.com/art/201805/574334.htm Zookeeper 是最终一致性的，由于多副本，以及保证大多数成功的 Zab 协议，当一个客户端进程写入一个新值，另一个客户端进程不能保证马上就会读到，但能保证最终会读到这个值。 Zookeeper 的 Zab 协议类似于 Paxos 协议，并且提供了强一致性。 每当听到这两种说法，我都想...

转载：https://www.cnblogs.com/justinzhang/p/4273470.html 1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互...