LoongKK的博客

大数据Hadoop学习文章汇总 大数据Hadoop学习(1)-虚拟机准备 大数据Hadoop学习(2)-Hadoop分布式集群搭建 大数据Hadoop学习(12)-HDFS HA高可用配置 大数据Hadoop学习(3)-HDFS操作 大数据Hadoop学习(4)-MapReduce经典案例-单词统计 大数据Hadoop学习(5)-ZooKeeper安装 大数据Hadoop学习(6)-Kafka集群部署 大数据Hadoop学习(7)-Hive安装 大数据Hadoop学习(8)-HBase安装 大数据Hadoo

HDFS HA高可用 文章目录HDFS HA高可用1 HA概述2 HDFS-HA工作机制2.1 HDFS-HA工作要点2.2 HDFS-HA自动故障转移工作机制3 HDFS-HA集群配置3.1 环境准备3.2 规划集群3.3 配置Zookeeper集群3.4 配置HDFS-HA集群3.5 启动HDFS-HA集群3.6 配置HDFS HA故障转移 1 HA概述 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各

Spark集群安装 1 Spark安装地址 1．官网地址 http://spark.apache.org/ 2．文档查看地址 https://spark.apache.org/docs/2.3.1/ 3．下载地址 https://spark.apache.org/downloads.html 2 Standalone模式安装 1）上传并解压spark安装包 [root@node1 module]$ tar -zxvf spark-2.3.1-bin-hadoop2.7.tgz -C /opt/softwar

Sqoop 文章目录Sqoop一、Sqoop简介二、Sqoop安装及环境配置三、Sqoop命令RDBMS到HDFSRDBMS到HiveHIVE/HDFS到RDBMS(导出数据)四、脚本打包 一、Sqoop简介 Apache Sqoop™是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。 Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。 二、Sqoop安装及环境配置 解压sqoop [root@node1 module]# tar -

1.实验原理 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力 Flume提供了从console（控制台）、RPC（Thrift-RPC）、text（文件）、tail（UNIX tail）、syslog（syslog日志系统，支持TCP和UDP等2种模

HBase安装 1 Zookeeper正常部署 首先保证Zookeeper集群的正常部署，并启动之： [root@node1 zookeeper-3.4.10]$ bin/zkServer.sh start [root@node2 zookeeper-3.4.10]$ bin/zkServer.sh start [root@node3 zookeeper-3.4.10]$ bin/zkServer.sh start 2 Hadoop正常部署 Hadoop集群的正常部署并启动： [root@node1 ha

1 Hive安装地址 1．Hive官网地址 http://hive.apache.org/ 2．文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3．下载地址 http://archive.apache.org/dist/hive/ 4．github地址 https://github.com/apache/hive 2 Hive安装部署 1．Hive安装及配置 （1）把apache-hive-1.2.1-bin.ta

Zookeeper分布式安装及客户端命令行操作 分布式安装部署 1．集群规划 在node1、node2和node3三个节点上部署Zookeeper。 2．解压安装 官网下载https://zookeeper.apache.org/ 1）解压zookeeper安装包到/opt/module/目录下 [root@node1 module]$ tar -zxvf zookeeper-3.4.6.tar....

大数据Hadoop学习(4)-MapReduce经典案例-单词统计 MapReduce单词统计案例（分别使用样例带的jar包和自己编写代码实现的jar包运行） 1. Hadoop经典案例——单词统计 1） 打开HDFS的UI界面，选择Utilities-Browse the file system可查看文件系统里的文件。使用-cat也可。 2） 准备文本文件，执行vi word.txt指令新建...