做事要趁早的博客

Sqoop安装及案例导入导出数据（基于Hadoop环境）Sqoop主要用于在Hadoop(Hive)与传统的数据库MySQL间进行数据的传递可以将一个关系型数据库（如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。原理：将导入或导出命令翻译成mapreduce程序来实现在翻译出的mapreduce中主要是对inputformat和outputformat进行定制一、Sqoop的安装1、将Sqoop的安

Flume的安装Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFSAgent 是一个 JVM 进程，它以事件的形式将数据从源头送至目的Agent 主要有 3 个部分组成，Source、Channel(缓冲区，管道)、Sink1、将Flume的安装包拷贝到/opt/software目录下[mnlg@XJ202 ~]$ cd /opt/software/[mnlg@XJ202 software]$ tar -xf apache-flume-1.9.0-bin.tar

Hadoop集群操作一、启动集群1.如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode注意：格式化NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止namenode 和 datanode 进程，并且要删除所有机器的data 和 logs 目录，然后再进行格式化。[mnlg@hadoop102 hadoop-3.1.

Hadoop大数据基础篇一、Hadoop特点1. Hadoop优势：高可靠性，高扩展性，高效性(MapReduce)，高容错性2. Hadoop的组成：HDFS(分布式存储系统)：NameNode，Client，DataNodeMapReduce(分布式计算系统)：Input(InputFormat)，Map，Shuffle，Reduce，Output(OutputFormat)Yarn(hadoop的资源调度系统)：ResourceManager ，NodeManager，Hist

HBase 在idea中对表(ddl)和数据(dml)的相应操作新建Idea—项目工程名为HBaseDemo11.pom.xml文件（在文件末尾加入如下代码，导入依赖）<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId>

Hive中MySQL的安装及绑定Hive 默认使用的元数据库为 derby，开启 Hive 之后就会占用元数据库derby数据库只支持单用户访问且不与其他客户端共享数据将 Hive 的元数据地址改为 MySQL数据库[mnlg@XJ202 ~]$ my_hadoop.sh start //启动hadoop[mnlg@XJ202 ~]$ cd /opt/module/hive-3.1.2 //进入hive目录[mnlg@XJ202 hive-3.1.2]$ bin/hive

HBase 在集群中对表(ddl)和数据(dml)的相应操作HBase特点要开启hbase之前必须先开启hdfs和zookeeper(关闭将start改为stop即可)启动hdfs：my_hadoop.sh start启动zookeeper：zk.sh start启动hbase：bin/start-hbase.sh表(ddl)：增加：create，修改：alter，删除：drop，查看所有：list，查看版本号：describe数据(dml)：增加：put，修改：put

Hive的特点Hive与SQL语句相像能将SQL语句转变成MapReduce任务来执行Hive要依赖于yarn只能用于结构化Hive只能处理离线数据，处理大型数据Hive在集群上的操作1.Hive安装及配置（1）点击Shell，进入到 cd /opt/software目录下cd /opt/software/（2）把apache-hive-3.1.2-bin.tar.gz压缩包上传到Shell的 cd /opt/software目录下（3）解压apache-hive-3.1.2-b