- 博客(27)
- 收藏
- 关注
RSS订阅原创 Elasticsearch地理坐标 GEOHASH java API如何实现拿到里面的每一个geohash
在es查询里如图所示 参数不懂的可以参考 https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-geohashgrid-aggregation.html java api如何实现拿到每一条key也就是geohash AggregationBuilder aggregationBuilder =AggregationBuilders.geohashGrid("large-gri.
2021-11-30 11:22:41
396
原创 2021-08-16 Linux操作命令学习笔记
Linux操作命令 3.1.1 终端、shell命令提示符、bash基本语法 登录终端：终端仿真器、远程连接终端工具 tty命令查看当前所属的虚拟终端 /dev/pts/0 /dev/pts/1 快捷键：打开终端shift+ctrl+n 字体放大shift+ctrl+加号 字体缩小shift+ctrl+减号 echo 输出 同一服务器不同终端间的通信：echo xuegod > /dev/pts/1 十分钟后关机：shotdown +10 其他终端都能看到 终止关
2021-08-17 10:05:46
239
原创 expected START_TAG or END_TAG not TEXT (position: TEXT seen ...＜/dependency＞\ub\n ＜d... @38:11) more
今天在引入依赖导入jar包时候发现了这个错误：原因是在我复制时候多了一个空格导致格式不对，删除空格重新运行就好了 报错： expected START_TAG or END_TAG not TEXT (position: TEXT seen …\ub\n <d… @38:11) more… (Ctrl+F1) ...
2021-06-05 18:47:28
1515
1
原创 分布式实时计算——2.5 支持的数据类型总结&富函数
一.基础数据类型：支持的数据类型 1.基础数据类型： Flink 支持所有的 Java 和 Scala 基础数据类型，如Int, Double, Long, String, … 2.Java和Scala元组（Tuples）： 3.Java简单对象（POJO）： 如之前定义过的WordCount 4.Scala样例类（Case Class）： 5.其它（ Arrays, Lists, Maps, Enums, 等等）： 二.富函数 ...
2021-05-27 17:00:32
160
原创 分布式实时计算课程学习（2.3）——Transform API
3.filter 示例：把温度大于30的过滤输出 代码： package com.edu.neusoft.bigdata.flink.source; import org.apache.flink.api.common.functions.FilterFunction; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.datastream.S.
2021-05-16 16:46:26
133
原创 分布式实时计算课程学习（2.4）—— Sink API
官方提供了一部分的框架的 sink。除此以外，需要用户自定义实现 sink. kafka sink 示例： 1.启动zk、kafka： $ zkServer.sh start $ cd /usr/local/kafka $ bin/kafka-server-start.sh config/server.properties 2.在kafka上创建一个topic t2： 3.在realtime工程的pom.xml文件中添加如下依赖（如果之前已添加则忽略）： <dependency>
2021-05-16 16:22:59
872
原创 IDEA时ctrl+鼠标点击方法名不是.java文件
在看老师视频回放时候发现使用IDEA时ctrl+鼠标点击方法名不是.java文件。（我好像弱智） 解决办法点击右上角的Download Sources下载源码就好了注释啥的都有了。
2021-05-15 19:22:43
347
原创 报错：javax.net.ssl.SSLException: closing inbound before receiving peer‘s close_notify
报错javax.net.ssl.SSLException: closing inbound before receiving peer’s close_notify解决办法 配置连接数据库的url时，表名后面加上 ?serverTimezone=GMT%2B8&useSSL=false
2021-05-14 00:11:25
272
原创 分布式实时计算课程学习（2.2）——Source API
目录2.2.1 文件Source示例：1.示例数据：2.操作过程3.最终代码2.2.2 Socket Source2.2.3 集合Source示例：1.操作过程2.最终代码2.2.4 Kafka Source（主要）示例：1.虚拟机环境启动zk、kafka：2.在kafka上创建一个topic t1：3.在realtime工程的pom.xml文件中添加如下依赖：4.编写class： 2.2.1 文件Source 基于文件： readTextFile(path) 读取文本文件，文件遵循TextInputFor
2021-04-23 18:08:20
414
原创 分布式实时计算课程学习（2.0）——实时大数据计算框架Flink
目录2.1 执行环境Environment2.2 Source API2.3 Transform API val rdd = sc.parallelize(list) val rdd1 = rdd.flatMap(line => line.split(" ")) val rdd2 = rdd1.map(line => (line,1)) val rdd3 = rdd2.reduceByKey((a,b) => a+b) rdd3.collect ...
2020-10-06 23:48:37
1866
原创 Scala——map，flatMap操作
目录Map操作flatMap操作 Map操作 map操作是针对集合的典型变换操作，它将某个函数应用到集合中的每个元素，并产生一个结果集合。 例如： 通过map操作对列表的中每个字符串进行变换，让每个字符串都变成大写字母，这样变换后就可以得到一个新的集合 scala> val name = List("wuhan", "yangtuo", "beige") name: List[String] = List(wuhan, yangtuo, beige) scala> name.map(s =>
2020-09-29 23:02:52
632
原创 Scala——三个容器：List Set Map
列表(List) intList定义一个列表，intList.head返回列表头部，也就是第一个值，而intList.tail返回的是列表的尾部但返回值仍是一个列表 例如： scala> val intList = List(1,2,3,4,5,6,7,8) intList: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8) scala> intList.head res17: Int = 1 scala> intList.tail res18: Lis
2020-09-26 12:13:18
233
原创 Scala——if，while，for循环语句
if循环语句 if条件是否为真，如果为真，就执行对应的语句块，如果为假，就执行下一个条件分支。 scala> val x = 6 x: Int = 6 scala> if (x>0) {println("This is a positive number") | } else { | println("This is not a positive number") | } This is a positive number if表达式的值可以赋值给
2020-09-25 18:52:08
757
1
原创 R数据分析——画图——散点图plot，柱状图barplot，箱线图，分组柱状图barplot
目录1.画图1.1 散点图plot2.2 柱状图barplot以及各种色系2.文字元素2.1 text控制字体2.2 cex控制文字大小2.3点元素 1.画图 1.1 散点图plot colors()#查看颜色都有哪些 #plot散点图 dev.new() 例：plot(0:4,type=“n”,axes=F,xlab=NA,ylab=NA) #type(n)空白面板，axesz坐标轴，xlab=NA,ylab=NA坐标轴的名字 #对其他图形参数颜色进行设置#col.axis坐标轴的颜色，col.lo
2020-09-22 16:37:55
3765
原创 R语言分析——流程控制if else for while，如何定义函数
目录流程控制if else for while如何定义函数 流程控制if else for while #if else score<-79 if(score>=80){ print(“A”) }else if(score>=60){ print(“B”) }else{ print(“C”) } #for num<-1:10 for(i in num){ if(i%%2==0){ print(i) } } #while num<-5 while(num>0){
2020-09-20 16:17:39
336
原创 R数据分析——数据框，因子
目录数据框 数据框 #创建数据框 stu.name <-c(“xinyu” , “anqi”) stu.id <- c (1001,1002) stu.info <- data.frame (stu.name,stu.id) ; stu.info str (stu.info) #访问 stu.info$stu.name stu.info[,1] stu.info[1,] #添加新列 stu.info$age <- c(16,19);stu.info #查询 stu.info
2020-09-15 21:59:00
482
原创 R数据分析——数组，列表
目录数组列表 数组 #创建数组 test1 <- matrix(sample(90:100,6,replace = F),nrow=2) test1 test2 <- matrix(sample(90:100,6,replace = F),nrow=2) test2 test <- array(data=c(test1,test2),dim= c(2,3,2))#dim表示维度 2,3表示两行三列，2个 test attributes(test) #attributes查看属性 s
2020-09-14 23:22:43
287
原创 R数据分析——矩阵
** 这里写目录标题矩阵 矩阵 ** #创建矩阵 m<-matrix(1:8,nrow=2,byrow=T)#nrow行数，byrow按行顺序 #矩阵运算 m1<-matrix(1:4,nrow=2) m2<-matrix(2:5,nrow=2) m1+m2 m1*m2 > m1+m2 [,1] [,2] [1,] 3 7 [2,] 5 9 #矩阵索引,逗号的位置决定列还是行 m<-matrix(1:12,nrow=4) m[,2:3
2020-09-10 23:58:55
739
1
原创 R数据分析——安装，数据类型转换，向量
R数据分析R中安装与使用包卸载与移除包基本数据类型（六种）数据类型转换运算符R中的数据结构向量 R中安装与使用包 R中的包存储在计算机上名为library的目录下 ✓ 使用函数libPaths ()可以查看该文件夹在计算机中的具体路径 ✓ 函数library ()显示已安装的包的列表 ✓ 函数search ()显示已加载的包的列表 ✓函数install.packages()进行下载安装 例如 ✓函数install.packages(“stringr”) 安装一个用于字符串处理的包 包安装后还需要载入到内存
2020-09-06 16:03:12
1021
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人