Elasticsearch （集成）SparkStreaming_es集成sparkstreaming-CSDN博客

本文链接：https://blog.csdn.net/weixin_45417821/article/details/117522814

博客主要介绍了Spark Streaming框架集成相关内容。Spark Streaming是Spark core API的扩展，可处理实时数据流，具有可扩展、高吞吐量、容错特点，数据来源广泛。还提及修改pom文件增加依赖关系以及功能实现等方面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

Spark Streaming框架集成

Spark Streaming框架集成

Spark Streaming框架介绍

Spark Streaming是Spark core API的扩展，支持实时数据流的处理，并且具有可扩展，高吞吐量，容错的特点。数据可以从许多来源获取，如Kafka，Flume，Kinesis或TCP sockets，并且可以使用复杂的算法进行处理，这些算法使用诸如map，reduce，join和window等高级函数表示。最后，处理后的数据可以推送到文件系统，数据库等。实际上，您可以将Spark的机器学习和图形处理算法应用于数据流。

在这里插入图片描述

修改pom文件，增加依赖关系

	<properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.12</artifactId>
            <version>3.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>7.8.0</version>
        </dependency>
        <!-- elasticsearch的客户端 -->
        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>elasticsearch-rest-high-level-client</artifactId>
            <version>7.8.0</version>
        </dependency>
        <!-- elasticsearch依赖2.x的log4j -->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <!--        <dependency>-->
        <!--            <groupId>com.fasterxml.jackson.core</groupId>-->
        <!--            <artifactId>jackson-databind</artifactId>-->
        <!--            <version>2.11.1</version>-->
        <!--        </dependency>-->
        <!--        &lt;!&ndash; junit单元测试 &ndash;&gt;-->
        <!--        <dependency>-->
        <!--            <groupId>junit</groupId>-->
        <!--            <artifactId>junit</artifactId>-->
        <!--            <version>4.12</version>-->
        <!--        </dependency>-->
    </dependencies>

功能实现

object SparkStreamingESTest {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local[*]").setAppName(this.getClass.getSimpleName)
    val scc = new StreamingContext(conf, Seconds(3))
    //数据源
    val ds = scc.socketTextStream("localhost", 9200)
    ds.foreachRDD(
      rdd => {
        rdd.foreach(
          data => {
           val client = new RestHighLevelClient(
              RestClient.builder(new HttpHost("localhost",9200,"http"))
            )

            //空格切分
            val ss =  data.split(" ")

            val request = new IndexRequest()
            request.index("product").id(ss(0))

            val json =
              s"""
                | { "data" : "${ss(1)} "}
                |""".stripMargin

            request.source(json,XContentType.JSON)

            val response: IndexResponse = client.index(request, RequestOptions.DEFAULT)
            print(response.getResult)
            client.close()
          }
        )
      }
    )
    //开启并等待执行
    scc.start()
    scc.awaitTermination()
  }
}