
streaming
靖-Drei
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
SparkStreaming 打印输出demo
1.nc -lk 9999 -l 使用监听模式,管控传入的资料。 本机开启9999端口 一个server对应一个client,多了可能出问题,也就是下次起sparkstreaming任务时,必须先关了这个端口,重开 2.提交sparkstreaming任务 package com.streaming import org.apache.spark.streaming.Seconds impo原创 2016-06-06 17:15:56 · 4919 阅读 · 0 评论 -
SparkStreaming 删选含有error的行
筛选流数据中所有含error的行package com.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.Seconds import org.apache.spark.streaming.StreamingContextobject PrintError { def main(args:原创 2016-06-06 17:21:53 · 1305 阅读 · 0 评论 -
SparkStreaming wordcount demo
流数据统计,将每隔10s内的数据做一次单词统计package com.streamingimport org.apache.spark.streaming._ import org.apache.spark.streaming.StreamingContext._ import org.apache.spark.SparkContext import org.apache.spark.api.jav原创 2016-06-06 17:26:30 · 1005 阅读 · 0 评论