大数据进阶之路

Hadoop集群搭建之Hive on Spark用到的各个组件的版本组件版本hadoop3.3.1hive3.1.2spark2.4.6scala2.12.101. 准备工作# 下载spark的源码wget https://downloads.apache.org/spark/spark-2.4.6/spark-2.4.6.tgz2. 编译spark源码# 解压源码到目录下tar -zvxf spark-2.4.6.tgz &&am

自制CDH6.3版本ElasticSearch安装包1. 下载cm_extCloudera提供的cm_ext工具，对生成的csd和parcel进行检验mkdir -p ~/github/clouderacd ~/github/cloudera# clone cm_extgit clone https://github.com/cloudera/cm_ext.git# 打包cd cm_extmvn package -Dmaven.test.skip=trueTips：build_pa

CDH6.3.2集群部署在阿里云上部署CDH6.3.2集群，本人使用四台机器，自己部署是可以选择自行规划节点角色。1. 基础配置1. 角色规划节点节点主要角色备注cdh1cdh2cdh3cdh42. 修改hostname（所有节点）hostnamectl set-hostname cdh1hostnamectl set-hostname cdh2hostnamectl set-hostname cdh3hostnamectl se

自制CDH6.3版本Flink安装包1. 下载flink-parcel工具git clone https://github.com/pkeropen/flink-parcel.git2. 修改flink版本配置#FLINK 下载地址FLINK_URL=https://archive.apache.org/dist/flink/flink-1.13.3/flink-1.13.3-bin-scala_2.12.tgz#flink版本号FLINK_VERSION=1.13.3#扩展版本号E

MapReduce—平均工资MapReduce—平均工资1. 需求分析2. 解答思路MapReduce—平均工资我这里是使用集群去处理这个日志数据，数据在我的github上，默认使用maven去管理所有的jar包github地址： https://github.com/yangqi199808/MapReduce1. 需求分析按照所给数据文件去统计每个部门的人数，最高工资，最低工...

MapReduce编程实例MapReduce编程实例1. WordCount入门案例2. 最高气温3. 平均工资4. 手机流量统计MapReduce编程实例1. WordCount入门案例所用的资源文件全部放在resources资源文件下的wordcount目录下2. 最高气温所用的资源文件全部放在resources资源文件下的maxtemperature目录下3. 平均工资...

Hadoop集群搭建之Zeepline安装1. 准备工作下载Zeepline的安装包上传到集群中的某台服务器中2. Zeepline安装1. 安装目录规划统一安装路径：/opt/apps统一软件存放路径：/opt/software2. 上传压缩包1. 将压缩包上传到[/opt/software]目录下，解压到[/opt/apps]目录下2. 修改[/home/hadoop/.bash_profile]文件，增加以下内容： ZEEPLINE_HOME=/opt/apps/zeepline

Hadoop集群搭建之HBase安装1. 准备工作准备好已经安装了Hadoop的集群服务器之后，下载HBase的安装包并上传至其中一台服务器中。2. HBase独立模式安装1. 安装目录规划统一安装路径：/opt/apps统一软件存放路径：/opt/software2. 上传压缩包1. 将压缩包上传到[/opt/software]目录下，解压到[/opt/apps]目录下2. 修改[/home/hadoop/.bash_profile]文件，增加以下内容： HBASE_HOME=/op

Hadoop集群搭建之Hive安装1. 准备工作准备好已经安装了Hadoop的集群服务器之后，需要在其中一台中安装MySQL数据库，安装可以参考CentOS7安装MySQL5.7这篇文章。下载Hive的安装包并上传至其中一台服务器中。2. Hive本地安装1. 安装目录规划统一安装路径：/opt/apps统一软件存放路径：/opt/software2. 上传压缩包1. 将压缩包上传到[/opt/software]目录下，解压到[/opt/apps]目录下2. 修改[/home/hado

Hadoop集群搭建之全分布式集群配置1. 准备工作准备三台已经安装了CentOS7系统的虚拟机，并进行了相关设置。系统配置可以参考Hadoop集群搭建之CentOS7系统配置这篇文章2. 集群规划主机名称IP地址用户HDFSYARNmaster192.168.21.210hadoopNameNode，DataNodeResourceManager，NodeManagerslave1192.168.21.211hadoopDataNode，Second

Hadoop集群搭建之CentOS7系统配置1. 准备工作准备三台已经安装了CentOS7系统的虚拟机，分别是master，slave1，slave2。三台虚拟机配置如下(以下配置只做参考，如果自己的电脑不允许的情况下，也可以适当的调整)：主机名称机器配置存储容量用户master4G内存，2核，2CPU50Ghadoopslave11G内存，1核，1CPU50Ghadoopslave21G内存，1核，1CPU50Ghadoop2. 配置su

Hadoop注解InterfaceAudience InterfaceStabilityHadoop注解InterfaceAudience InterfaceStability1. InterfaceAudience2. InterfaceStabilityHadoop注解InterfaceAudience InterfaceStability最近学习Hadoop时，看到InputFormat...