
hadoop
月夜星星雨
回忆后的不怀念
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HDFS架构原理
HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。 NameNode作为master服务,它负责管理文件系统的命名空间和客户端对文件的访问。NameNode会保存文件系统的具体信息,包括文件信息、文件被分割成具体block块的信息、以及每一个block块归属的DataNode的信息。对于整个集群来说,HDFS通过NameNode对用户...原创 2019-03-04 11:56:15 · 1209 阅读 · 0 评论 -
hadoop搭建
http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html 两台虚拟机 server1 master 172.25.11.1 server2 slave 172.25.11.2 server1 对2做好免密ssh useradd hadoop -s /sbin/nologin passwd hadoop vi...原创 2019-04-04 00:16:26 · 202 阅读 · 0 评论 -
hadoop3.0.3搭建与入门(添加删除;调度-节点)
hadoop版本:apache cloudera(CDH版) Hortonworks(HDP版) 国内对CDH用的多 一般用3.0 单机版 scp hadoop-3.0.3.tar.gz jdk-8u181-linux-x64.tar.gz server1:/root/ src是源码包 4 useradd hadoop 5 cd /home/hadoop/...原创 2019-04-06 09:41:22 · 580 阅读 · 0 评论 -
hadoop3.0.3高可用(ZK;DN)
server1-5五台配置好apache的hadoop nfs-utils rpcbind 将hadoopserver1挂载-->2-5 清空环境 sbin/stop-yarn.sh sbin/stop-dfs.sh rm -fr /tmp/* 每个节点 kill 所有java进程 2 5 高可用 134 zk ser...原创 2019-04-06 15:18:01 · 525 阅读 · 0 评论