azure pyspark对Dataframe列类型进行转换

最新推荐文章于 2025-05-07 14:30:23 发布

lbl251

最新推荐文章于 2025-05-07 14:30:23 发布

阅读量326

点赞数

CC 4.0 BY-SA版权

分类专栏： spark azure 文章标签： azure microsoft

本文链接：https://blog.csdn.net/lbl251/article/details/131309348

spark 同时被 2 个专栏收录

11 篇文章

订阅专栏

azure

8 篇文章

订阅专栏

今天碰到需要对dataframe的类型转换，一下不记得了，找来找去浪费时间，还不准。百度一堆不准。话说GPT都出来这么长时间，CSDN都有合作的了，为什么百度的答案还不如CSDN的GPT（收费很不喜欢这点，拿我们的博客训练的结果反过来收我们的会员钱）

# 1、引入
from pyspark.sql.types import IntegerType, BooleanType, DateType, ArrayType,StringType
from pyspark.sql.functions import get_json_object, col, regexp_replace, concat, lit, to_json
# int
cdf = cdf.withColumn("YEAR",col("YEAR").cast("int"))
#string
cdf = cdf.withColumn("DATA_DATE",col("DATA_DATE").cast("string"))
# double/float
cdf = cdf.withColumn("SIX_INDEX",col("SIX_INDEX").cast("decimal(10,2)"))