flink数据源六种加载方式以及sink输出方式

最新推荐文章于 2024-11-24 13:15:00 发布

Xiayebuliang

最新推荐文章于 2024-11-24 13:15:00 发布

阅读量667

点赞数

文章标签： flink 大数据 kafka java

本文链接：https://blog.csdn.net/Xiayebuliang/article/details/130706774

版权

文章详细介绍了ApacheFlink中数据源的多种加载方式，包括fromElements、集合数据源、文件、Socket、Kafka以及自定义数据源，并展示了如何使用DataStream进行处理。此外，还讨论了数据的输出方式，如控制台打印、CSV格式和自定义文件输出。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、数据源加载方式

1. fromElements

val stream1: DataStream[Any] = env.fromElements(1, 2, 3.5, "hello")

2.加载集合数据源

   val dataList=List(
       SensorReading("sensor 1",1684201960,36.8),
       SensorReading("sensor 4",1684202060,35.8),
       SensorReading("sensor 4",1684202160,34.8),
       SensorReading("sensor 4",1684202260,33.8)
     )
        val stream2: DataStream[SensorReading] = env.fromCollection(dataList)

case class SensorReading(id: String, timestamp: Long, tempersture: Double)