小鑫鑫吖-CSDN博客

原创 hive集群搭建

Hive的安装三个前提： JDK HADOOP MySQL 第一步：安装MySQL(离线) 操作目录：/home/uplooking/soft --->安装包所在目录 1°、查询linux中已有的mysql依赖包 [uplooking@uplooking01 ~]$ rp...

2018-11-12 23:11:33 318

原创 storm集群搭建

实时计算 -----有别于传统的离线批处理操作(对很多数据的集合进行的操作)，实时处理，说白就是针对一条一条的数据/记录进行操作，所有的这些操作进行一个汇总(截止到目前为止的所有的统计总和) 实时计算和离线计算面临的数据的特征： Bounded：有界离线计算面临的操作数据都是有界限的，无论是1G、1T、1P、1EB、1NB 数据的有界必然会导致计...

2018-11-12 21:57:40 194

原创 kafka集群搭建

消息队列消息 Message 网络中的两台计算机或者两个通讯设备之间传递的数据。例如说：文本、音乐、视频等内容。队列(FIFO) Queue 一种特殊的线性表（数据元素首尾相接），特殊之处在于只允许在首部删除元素和在尾部追加元素。入队、出队。消息队列 MQ 消息+队列，保存消息的队列。消息的传输过程中的容器；主要提供生产、消费...

2018-11-12 21:55:07 210

原创 zookeeper集群搭建

Hadoop分布式HA的安装部署集群的规划 ip 基本的软件运行的进程 uplooking01 jdk、zk、hadoop NameNode、zkfc、zk、journalNode...

2018-11-12 21:53:13 171

转载 mysql 5.7安装

CentOS7 下使用YUM安装 MySQL5.7 于2015年10月19日(美国时间)，Oracle公司发布了开源数据库MySQL的最新版本5.7。到现在已有将近3年之久，经过这几年的改进，MySQL5.7性能最高可达前一个版本的3倍，现在官网的最新版本是5.7.18.在这里，我将介绍yum的安装MySQL5.7的方法。 1：添加MySQL5.7的YUM源，建议安装epe...

2018-10-15 21:29:20 183

原创 redis

Redis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合，位图，hyperloglogs等数据类型。内置复制、Lua脚本、 LRU收回、事务以及不同级别磁盘持久化功能，同时通过Redis Sentinel提供高可用，通过Redis Cluster提供自动分区。简言之，Redis是一种面向“键/...

2018-09-26 12:42:48 262

原创 hbase

HBase逻辑结构 RowKey第一位 ColumnFamily ColumnQuiauer value(TimeStamps) Cell 物理结构 HMaster ----->NameNode 管理节点，用于管理HBase中的Table和Region...

2018-09-26 11:54:04 154

原创 hive

Hive Hive是一款数据仓库的基础架构 Hive是一款SQL的解析引擎复合数据类型 array ----java中的数组 hobby array<string> map ----java中的map score map<string, int> struct ----jav...

2018-09-26 11:53:19 289

原创 hdfs shell 大全

HDFS SHELL命令大全第一个部分为ACL(Access control List)权限第二个部分为备份数量第三个部分为所属用户第四个部分为所属用户组第五个部分为文件大小[单位：字节] 第六个部分为文件状态stat 第七个部分为文件名称 appendToFile Usage: hdfs dfs -appendToFile <localsrc> ...

2018-09-25 16:45:27 222

原创 linux基本命令

Linux下常用的命令记录 CPU相关 lscpu #查看的是cpu的统计信息. cat /proc/cpuinfo #查看CPU信息详细信息，如每个CPU的型号，主频等内存相关 free -m #概要查看内存情况这里的单位是MB cat /proc/meminfo #查看内存详细信息磁盘...

2018-08-27 15:45:43 143

我这里是在Debian8.6.0版本的Linux操作系统下安装的hadoop-2.6.0-cdh5.5.2cdh5系列下载地址：http://archive.cloudera.com/cdh5/cdh/5/正真的第一步应该是同步时间，同步后得重启，否则的话会运行mr的时候会卡主不动，不同步运行mr的时候会报错：（红帽的话防火墙和selinux是否关闭，这都可能在安装中会报错，但Debian安装后防...

2018-07-09 17:04:54 361