水哥哥的-CSDN博客

原创 Flink Stanalon HA

Standalone集群构建基础环境准备物理资源：CentOSA/B/C-6.10 64bit 内存2GB 主机名 IP CentOSA 192.168.221.136 CentOSB 192.168.221.137 CentOSC 192.168.221.138 [外链图片转存失败(img-l9lPb4wS-1566826494200)(assets/156...

2019-09-15 18:50:28 216

原创用Flink对Operator State 状态的代码进行hdfs的CheckpointedFunction恢复

依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version&gt...

2019-09-01 17:00:37 350

原创用Flink对keyed state 状态的代码进行设置TTL(过期时间)和hdfs的checkpoints恢复和配置Flink-conf.yaml

依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>1.8.1</version> ...

2019-09-01 16:47:23 2545

原创用Flink将kafka的数据存到redis中

依赖 <dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>1.0</version> </dependency> 代码 /...

2019-08-27 20:08:15 1247

原创用Flink将kafka的数据存到kafka中

依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.8.1</version> </dependency&g...

2019-08-27 20:06:15 606

原创 Flink搭建和测试

环境搭建 Flink 安装部署前提条件 HDFS正常启动 (SSH免密码认证) JDK1.8+ 上传并解压flink [root@CentOS ~]# tar -zxf flink-1.8.1-bin-scala_2.11.tgz -C /usr/ 配置flink-conf.yaml配置文件 [root@CentOS ~]# cd /usr/flink-1.8.1/ [root@...

2019-08-26 21:41:56 396

原创 Spark Stanalone HA集群搭建

Standalone集群构建基础环境准备物理资源：CentOSA/B/C-6.10 64bit 内存2GB 主机名 IP CentOSA 192.168.221.136 CentOSB 192.168.221.137 CentOSC 192.168.221.138 [外链图片转存失败(img-l9lPb4wS-1566826494200)(assets/156...

2019-08-26 21:36:41 491

原创用structuredStreaming将kafka数据存到kafka中（jar包形式运行）

依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <versio...

2019-08-25 14:35:47 611

原创用spark将kafka的数据存到kafka中（方案二）

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version> ...

2019-08-20 19:12:14 216

原创用spark将kafka的数据存到kafka里（方案一）

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version> ...

2019-08-20 19:10:21 700

原创用mapreduce将hdfs的数据存到mysql中（虚拟机的mysql）

依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9.2</versio...

2019-08-18 17:25:47 532 1

原创用mapreduce将hdfs的数据存入到hbase中

依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.6.0</version> ...

2019-08-18 10:16:49 346

原创用spark将hdfs数据存到hbase中

第一步依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version>...

2019-08-16 20:00:18 400

原创用spark Streamming 将kafka的数据展示到控制台

第一步依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> <version>2.4.3</version> </dep...

2019-08-16 19:56:53 738

原创用spark Streamming 将mysql的数据展示到控制台