18、【SparkStreaming】object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord,...

Norni

于 2023-07-01 17:54:00 发布

阅读量361

点赞数

文章标签： apache kafka 分布式

本文链接：https://blog.csdn.net/Norni/article/details/131497486

版权

文章描述了在使用SparkStream从Kafka消费数据时遇到的对象非序列化错误，具体是ConsumerRecord无法正确序列化。为解决这个问题，文章提出在配置SparkConf时，应指定使用KryoSerializer作为序列化器，以此确保数据能被正确处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景：

当SparkStream连接kafka，消费数据时，报错：

object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord, value: ConsumerRecord

分析：

消费者的消费记录序列化出现了问题，需要正确的进行序列化。

措施：

在设置sparkconf的时候，指定序列化方式就可以解决了

val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("LocalStreaming").set(
    "spark.serializer","org.apache.spark.serializer.KryoSerializer"
)

效果：

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Norni

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

第99课：使用Spark Streaming+Kafka实战对论坛网站动态行为的多维度分析及java.lang.NoClassDefFoundError问题解决完整内幕版本解密

大模型与Agent智能体

05-08

8453

第99课：使用Spark Streaming 实战对论坛网站动态行为的多维度分析 /* 王家林老师授课http://weibo.com/ilovepains 每天晚上20：00YY频道现场授课频道68917580*/ /** * *第99课：使用Spark Streaming 实战对论坛网站动态行为的多维度分析 * 论坛数据自动生成代码，该生成的数据会作为Producer的方式发送给

object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord)

afei2530的博客

08-21

1171

3. object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord) val stream = KafkaUtils.createDirectStream[String, String]( ssc, PreferConsist...

参与评论您还未登录，请先登录后发表或查看评论

SparkStreaming消费kafka数据报错 object not serializable

weixin_41634597的博客

03-11

499

sparkstreaming消费kafka数据报错记录

kafka spark java,Java Spark Kafka流中的对象不可序列化(org.apache.kafka.clients.consumer.ConsumerRecord)...

weixin_30291543的博客

02-21

623

I am pretty sure that I am pushing data only string and deserialize also as String. Record I pushed it is showing in error also.But why suddenly it is showing such type of error, Is there anything I a...

not serializable result: org.apache.kafka.clients.consumer.ConsumerRecord

wangchao_cn的专栏

04-18

1005

解决方法创建SparkContext时设置一个属性 set("spark.serializer","org.apache.spark.serializer.KryoSerializer") Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Ta...

1、had a not serializable result: org.apache.kafka.clients.consumer.ConsumerRecord

ZJ__ZFH的博客

01-26

4784

Spark Streaming 整合Kafka报这个错 Spark版本 2.4.0 Kafka版本0.10.2.2 首先看模拟产生日志代码 public class AccessProducer extends Thread { private static SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd"); pr...

java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord

fang.lovest.yang的博客

05-09

4389

问题如下代码报错 JavaInputDStream<ConsumerRecord<Object, Object>> stream = KafkaUtils.createDirectStream( streamingContext, LocationStrategies.PreferConsistent(), Consum...

spring-sparkstreaming-kafka10集成实现和疑难杂症解决

if(true){ I love it }

07-10

7655

一.前期准备 1.开发环境 window7 eclipse jdk1.8 2.linux环境 zookeeper-3.4.8 hadoop-2.6.4 spark-1.6.0 scala-2.10.6 kafka_2.10-0.10.1.0 各环境的安装和部署请自行准备。二.疑难杂症 1. spark+scala+kafka版本要一致 2. org.apache.sp

Spark Streaming 集成 Kafka 详解

pizicai007的博客

08-28

754

概述 Spark Streaming 支持多种输入源数据的读取，其中基本数据源有：File System、Socket connections；而高级数据源有：Kafka、Flume、Kinesis等。但是高级数据源需要额外依赖，而且不能在 Spark Shell 中测试这些高级数据源，如果想要在Spark Shell 中测试需要下载依赖到Spark 依赖库中。关于读取Kafka 的方式，S...

Kafka学习（一）——0.10.2.0版本基础知识，java简单的demo

canthny的专栏

03-24

528

centos 7 kafka第一个java示例支持复杂对象 <artifactId>kafka_2.10</artifactId> <version>0.10.2.0</version>

Spring 中 No serializer found for class问题

neversayno_yl的博客

10-14

2202

HTTP Status 500 - Could not write content: No serializer found for class org.hibernate.proxy.pojo.javassist.JavassistLazyInitializer and no properties discovered to create BeanSerializer (to avoid exc...

KAFKA value foreach is not a member of org.apache.kafka.clients.consumer.ConsumerRecords

微信公众号：大数据从业者

03-31

210

在代码中加入如下内容(Scala支持与Java的隐式转换), import scala.collection.JavaConversions._

出现No serializer found for class异常解决

goddamnliu的博客

03-09

3422

序列化异常解决

java中的No serializer found for class的解决方法和思路

热门推荐

ityw520的博客

12-16

2万+

1、报错的问题解析 org.springframework.http.converter.HttpMessageConversionException: Type definition error: [simple type, class com.app.entity.duty.Site]; nested exception is com.fasterxml.jackson.databind.exc.InvalidDefinitionException: No serializer found for c

求助帖：我在spark的structured streaming进行流计算，想要将每个批次的结果自定义写入hdfs文件中，但是报错无法序列化。

a997002636的博客

03-16

532

求助帖：我在spark的structured streaming进行流计算，想要将每个批次的结果自定义写入hdfs文件中，但是报错无法序列化。自定义写文件代码如下： val query = sessionUpdates.writeStream.outputMode(“update”).foreach(new ForeachWriter[NewSessionUpdate] { var batchCount = 0 val conf = new Configuration() conf.set("

自动注入报错

weixin_40904124的博客

04-27

954

org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'com.baizhi.service.TestUserService': Unsatisfied dependency expressed through field 'userService'; nest...

Flink读取kafka scala 和 java的小坑

qq_31866793的博客

08-13

3367

报错就是找不到kafka的类 Caused by: java.lang.ClassNotFoundException: org.apache.kafka.clients.consumer.ConsumerRecord Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.ByteArrayDeserializer 先贴代码：在读取kafka多个topic的时候自定义输出类：...

kafka-clients 0.10 消息消费者

Code changes the world！

06-01

3041

package tuyou.kafka.consumer; import java.util.Arrays; import java.util.List; import java.util.Properties; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.co

object not serializable (class: org.apache.hadoop.fs.path, value: file:/tmp/