忄凝^的博客

superset 可视化工具 1.2 centos7.6安装

3、Nginx源码安装这里目录标题3、Nginx源码安装3.1. 上传解压3.2. 安装nginx依赖的软件3.3. 配置安装路径3.4. 开始编译并安装nginx3.5. 启动Nginx3.6. 关机拍照3.7. 常用命令3.1. 上传解压将安装包上传到Linux虚拟机解压，并把Nginx存放到指定目录[root@node01 ~]# tar -zxf nginx-1.8.1.tar.gz[root@node01 ~]# rm -rf nginx-1.8.1.tar.gz3.2. 安装

3、ClickHouse环境搭建这里目录3、ClickHouse环境搭建3.1. 下载软件3.2. 上传安装3.3. 配置文件3.4. 启动服务3.5. 可视化工具3.1. 下载软件官方：https://repo.clickhouse.tech/rpm/stable/x86_64clickhouse-common-static — ClickHouse编译的二进制文件。clickhouse-server — 创建 clickhouse-server 软连接，并安装默认配置服务clickhou

2、Flink 搭建这里目录2、Flink 搭建2.1、Standalone 模式2.1.1. 下载上传解压拷贝2.1.2. 修改配置文件2.1.3. 拷贝到其他节点2.1.4. 修改环境变量2.1.5. 启动集群2.1.6 关机拍照2.1.7 部署任务（Web UI）2.1.8. 部署任务(命令行模式)2.2、Flink on Yarn 模式2.2.1. 配置2.2.2. Yarn-Session模式2.2.3. Single-job模式虚拟机的CPU核数尽量调成2个2.1、Standalone

HDFS HA 搭建目录HDFS HA 搭建一、搭建高可用集群1、准备安装环境2、修改集群环境3、修改配置文件4、拷贝分发软件5、修改环境变量6、首先启动Zookeeper7、启动JournalNode8、格式化NameNode9、关闭集群10、重启测试集群二、访问Hadoop集群1、Java访问2、Idea访问附录：配置文件详解1、core-site.xml2、hdfs-site.xml一、搭建高可用集群NameNode-1NameNode-2DataNodeZookeeperZK

这里目录标题3、`Kylin`集群安装部署3.1. 下载上传3.1.2 修改 hive 配置文件3.1.3 修改 hbase 配置文件3.1.4 配置 kylin 相关环境变量3.1.5 修改配置文件3.1.6 拷贝kylin到其他节点3.1.7 启动3.1.8 关机拍照3、Kylin集群安装部署安装前提OS: CentOS 7java 1.8zookeeper 3.4.5https://blog.csdn.net/weixin_43660536/article/details/1183

4、Spark集群搭建目录4、Spark集群搭建4.1. 安装环境4.2. standalone模式4.3. yarn模式4.1. 安装环境搭建之前确认对应的 java 版本为1.8版本。搭建之前确认对应的 scala 版本为2.12.x版本。##三台计算机Node01 Node02 Node03都需要安装Scala[root@node01 ~]# rpm -ivh scala-2.12.11.rpm[root@node01 ~]# whereis scala //usr/s

Scala目录Scala2、Scala安装使用2.1. windows安装2.1.1. 版本2.1.2. 下载2.1.3. 环境变量2.1.4. 验证2.2. idea配置scala插件2.3. 创建项目2、Scala安装使用2.1. windows安装2.1.1. 版本根据我们接下来学习的 spark 的版本来决定 scala 的版本。具体选择情况在 spark 的官网进行查看。本次用scala-2.12.11.msihttp://spark.apache.org/docs到里面找对应s

Kafka Eagle 2.0.6 安装目录Kafka Eagle 2.0.6 安装1、简单介绍2、软件安装2.1、上传解压移动删除2.2、修改配置文件2.3、配置Kafka的Jmx2.4、配置环境变量2.5、启动集群2.6、访问2.7、关机拍照1、简单介绍​ 在开发工作当中，消费 Kafka 集群中的消息时，数据的变动是我们所关心的，当业务并不复杂的前提下，我们可以使用 Kafka 提供的命令工具，配合 Zookeeper 客户端工具，可以很方便的完成我 们的工作。随着业务的复杂化，Group 和

8、Storm高可用集群搭建节点分布机器nimbussupervisorzookeepernode0111node0211node0311安装前提java 1.7+python 2.6.6+zookeeper 集群搭建Zookeeper.https://blog.csdn.net/weixin_43660536/article/details/1183699638.1. 上传解压移动[root@node01

1 、Hadoop的安装与使用liunx选择Centos7 64位建议电脑16G内存开三台虚拟机主机\Hadoop节点NameNodeSecondaryNameNodeDataNodenode01**node02**node03*1.1、准备安装环境[root@node01 ~]# tar -zxvf hadoop-3.1.2.tar.gz [root@node01 ~]# mv hadoop-3.1.2 /opt/yjx/[

5、Kafka0.11.0.3环境搭建目录5、Kafka0.11.0.3环境搭建5.1、配置Kafka5.2、修改配置文件5.3、将文件目录拷贝到其他机器5.4、修改环境变量5.5、启动集群5.6、常见命令5.7、关机拍照基于Zookeeper搭建并开启【123】zkServer.sh start5.1、配置Kafka上传解压拷贝[root@node01 ~]# tar -zxvf kafka_2.12-0.11.0.3.tgz[root@node01 ~]# rm -rf kafk

Ganglia 安装Ganglia 英 [ˈgæŋglɪə] 美 [ˈgæŋgliə] n. 神经中枢1、官网介绍​ Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心 包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提 高系统整体性能起到重要作用。2、工作组件Ganglia 监控

DataX目录DataX1、DataX3.0概览1.1. 设计理念1.2. 当前使用现状3、DataX 3.0六大核心优势3.1. 可靠的数据质量监控3.2. 丰富的数据转换功能3.3. 精准的速度控制3.4. 强劲的同步性能3.5. 健壮的容错机制3.6. 极简的使用体验4、工具对比（Datax,Flume,Sqoop）4.1、DataX4.2、Flume4.3、Sqoop6、 DataX3.0框架设计6.1. 核心模块介绍6.2. DataX调度流程6.3. DataX-Web架

目录3、Redis的安装(单节点)3.1. 安装依赖3.2. 下载并上传3.3. 解压3.4. 预编译和安装3.5. 启动3.7. windows客户端访问7、主从复制集群7.1. 搭建主从服务器8.4. 哨兵环境搭建10、搭建redis集群环境10.1. 节点分布10.2. 配置文件10.3. 构建集群10.4. 访问集群10.5、关机拍照3、Redis的安装(单节点)3.1. 安装依赖yum -y install gcc-c++ autoconf automake3.2. 下载并上传本次安

2、Sqoop安装目录2、Sqoop安装2.1. 下载地址2.2. 上传并解压2.3. 配置环境变量2.4. 添加mysql连接包&Hive的Jar包2.5. 修改sqoop配置文件2.6. 修改configure-sqoop2.7. 验证2.1. 下载地址sqoop.​ http://archive.apache.org/dist/sqoop/1.4.6/2.2. 上传并解压[root@node01 ~]# tar -zxvf sqoop-1.4.7.bin__

1、Hadoop搭建yarn环境目录1、Hadoop搭建yarn环境1. 切换工作目录2. 修改集群环境3. 修改配置文件4. 拷贝到其他节点5. 开启集群6. 关机拍摄快照NameNode01NameNode02DateNodeZKFCZooKeeperJournalNodeResourceManagerNodemanagernode01*******node02******node03*****ya

Azkaban搭建目录Azkaban搭建6、azkaban搭建6.1、单机搭建6.1.1. 节点规划6.1.2. 拷贝到集群，并解压6.1.3. 启动Azkaban6.1.4. 查看浏览器6.1.5. 关闭Azkaban6.2、集群搭建6.2.1. 节点规划6.2.2. 准备工作6.2.3. 上传解压6.2.4. 数据库和表的创建导入6.2.5. 时间同步配置6.2.6. exec配置文件6.2.7. 同步executor到所有节点6.2.8. Web配置文件6.2.9. 启动和激活executor se

DBeaver目录DBeaver介绍发展史版本介绍下载与安装**DBeaver 连接数据库（MySql）****DBeaver 连接数据库（Hive）**DBeaver 功能简介介绍DBeaver是一种通用数据库管理工具，适用于需要以专业方式使用数据的每个人；适用于开发人员，数据库管理员，分析师和所有需要使用数据库的人员的免费的多平台数据库工具使用DBeaver，您可以像在常规电子表格中一样处理数据，基于来自不同数据存储的记录创建分析报告，并以适当的格式导出信息。对于高级数据库用户，DBeaver

搭建Zookeeper1、首先将三台虚拟机切换到相互免秘钥快照（keysfree）2、上传Zookeeper,解压，拷贝[root@node01 ~]# tar -zxvf zookeeper-3.4.5.tar.gz[root@node01 ~]# mv zookeeper-3.4.5 /opt/yjx/3、修改配置文件[root@node01 conf]# cd /opt/yjx/zookeeper-3.4.5/conf/[root@node01 conf]# cp zoo_

3、HBase高可用集群搭建前提：Hadoop集群正常运行 和ZooKeeper集群正常运行，Hive正常运行，时间同步PS: 安装前 请确认当前集群已经安装了Mysql数据库、ZooKeeper和Hadoop的Ha+Yarn如果未安装：MySQL安装.https://blog.csdn.net/weixin_43660536/article/details/118033294ZooKeeper安装：.https://blog.csdn.net/weixin_43660536/article/

3、Flume安装目录3、Flume安装3.1、上传解压3.2、修改配置文件3.3、修改配置环境3.4、验证3.5、关机快照安装要求：Java运行时环境 - Java 1.8或更高版本内存 - 足够的内存，用于源，通道或接收器使用的配置磁盘空间 - 足够的磁盘空间用于通道或接收器使用的配置目录权限 - 代理使用的目录的读/写权限3.1、上传解压[root@node01 ~]# tar -zxvf apache-flume-1.9.0-bin.tar.gz[root@node01 ~]#

目录4、ES安装4.1. 上传解压移动4.2. 配置运行环境4.3. elasticsearch参数4.4. 配置环境变量4.5. 拷贝分发修改4.6. 修改环境变量4.7. 创建ES用户4.8. 查看集群4.9. 关机拍摄快照4、ES安装​    ElasticSearch天生就是为分布式而生的搜索引擎，我们搭建一下集群环境将elasticsearch-7.4.2-linux-x86_64.tar.gz上传liunx的root用户~目录下4.1. 上传解压移动[root@node01 ~]#

1、Hive的安装目录1、Hive的安装1、下载上传解压2、修改配置文件3、配置日志组件4、添加驱动包5、配置环境变量6、拷贝到其他节点7、客户端配置文件8、启动集群9、关机快照10、Hive的三种交互方式节点\功能metastorehiveserver2clientnode01**node02*node03*PS: 安装前 请确认当前集群已经安装了Mysql数据库、ZooKeeper和Hadoop的Ha+Yarn如果未安装：链接: MyS