
大数据
JontyYang
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
linux 配置ntp时间服务器
linux 配置ntp时间服务器 安装ntp 安装ntp sudo yum -y install ntp 确认是否安装ntp rpm -qa|grep ntp 我现在有三台机器,master 192.168.22.131 slave1 192.168.22.128 slave2 192.168.22.130 网关192.168.22.2 配置ntp服务 (1)选择master作为ntp服务器,修改/etc/ntp.conf (2) 修改ntp客户端slave1,slave2的/etc/ntp.conf原创 2020-12-04 01:27:14 · 324 阅读 · 0 评论 -
Hadoop生态系统
HDFS:将多台机器的文件系统逻辑上看成一个整体。 HDFS集群分为两大角色:NameNode、DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 4.文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上 5.每一个文件块可以有多个副本,并存放在不同的datanode上 Datanode会定期向Namenode汇报自身所保存的文件block信息,而namenode则会负责保持文件的副本数量 7.HDFS的内部工作原创 2020-05-30 16:07:40 · 380 阅读 · 0 评论 -
sqoop导入oracle数据至hbase
sqoop导入Oracle数据至hbase 在开始之前,我首先要啰嗦几句,在下载相应的sqoop时,一定要注意你的hadoop,hbase等的版本是否与你下载的sqoop版本兼容。据我所知,sqooop1.4.6只支持hbase1.0.1以及之前的版本,而我的hbase版本为1.4.9,所以我下载了sqoop1.4.7的版本(我在导入数据的时候就吃了版本不兼容的亏了)。你还可以查一下sqoop1...原创 2020-01-10 10:48:56 · 910 阅读 · 3 评论