spark java.lang.ClassCastException: java.lang.Double cannot be cast to java.lang.String

本文探讨了Spark中由于泛型擦除导致的转型错误,即尝试将Double类型强制转换为String时的ClassCastException。作者提供了解决方法,即替换getString方法以避免使用asInstanceOf。同时,提到了Java方法签名参数限制和如何减少参数数量以避免ClassFormatError。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

spark:java.lang.ClassCastException: java.lang.Double cannot be cast to java.lang.String

java.lang.ClassCastException: java.lang.Double cannot be cast to java.lang.String
java.lang.ClassCastException: java.lang.Double cannot be cast to java.lang.String
	at org.apache.spark.sql.Row$class.getString(Row.scala:255)
	at org.apache.spark.sql.catalyst.expressions.GenericRow.getString(rows.scala:166)

查看spark源码

 def getString(i: Int): String = getAs[String](i)


def getAs[T](i: Int): T = get(i).asInstanceOf[T]
 

spark row对象的getString方法是通过asInstanceOf来转换数据类型的,而double类型是通过asInstanceOf来转成string 会因为泛型擦除问题而报错,可以将getString方法用get代替

java.lang.ClassFormatError: Too many arguments in method signature in class

java最大允许255个参数,long、doubule,会占用两个单位数,所以scala的样例类要减少参数数量。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值