Spark获取json写入hive(工作实例)

for your wish

已于 2022-03-22 20:53:16 修改

阅读量734

点赞数

CC 4.0 BY-SA版权

分类专栏： json 文章标签： spark hive json

于 2021-09-07 17:15:06 首次发布

本文链接：https://blog.csdn.net/someInNeed/article/details/120162020

Spark 同时被 2 个专栏收录

41 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

json

4 篇文章

订阅专栏

本文介绍了如何使用SparkSQL处理JSON数据，并将其写入Hive表。首先，通过添加特定依赖到pom文件，确保Spark能够处理JSON格式。接着，配置SparkSQL与Hive的整合，然后利用Spark读取JSON文件，转换处理后，最终将数据存入Hive。参考链接提供了详细配置信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark-submit \
--executor-memory 8G \
--conf spark.target.date=${dt} \
--conf spark.ui.retainedTasks=50000 \
--driver-memory 4G \
--master yarn \
--class com.cifi.zhyc.SparkImportMcYanPan\
--deploy-mode client \
/home/hadoop/software/JsonSpark.jar (--jars是引入jar用的 不用这个参数)
另外：上面所有的参数都不用引号包起来



参考下下面的
spark-submit \
--executor-memory 8G \
--conf spark.source=prd \
--conf spark.target=uat \
--conf spark.city=上海 \
--driver-memory 4G \
--master yarn \
--class com.cifi.SparkEtlPgToReport \
--deploy-mode client \
/home/biadmin/SparkDataTool-1.0-jar-with-dependencies.jar

package com.cifi.zhyc

import java.io.{BufferedReader, InputStreamReader}
import java.util.Properties

import org.apache.spark.sql.SparkSession


/*
    包括内容有简单的spark-sql