将mysql中的数据导入到hdfs，spark程序实现

最新推荐文章于 2025-05-13 17:45:00 发布

刘s泽

最新推荐文章于 2025-05-13 17:45:00 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：已解决问题文章标签： sparksql hadoop 大数据 ctrl+c/v

本文链接：https://blog.csdn.net/qq_16760101/article/details/84852743

已解决问题专栏收录该内容

15 篇文章

订阅专栏

本博客介绍了一个使用Apache Spark从MySQL数据库导入数据，并将数据转换为CSV格式保存到HDFS的具体实现过程。通过SparkSession建立与数据库的连接，设置必要的参数如URL、用户名和密码，然后加载数据并指定输出路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

程序为：

import org.apache.spark.sql.SparkSession

object import_data {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession .builder()
    			 .appName("MysqlDemo") 
    			 .master("local").getOrCreate()
    val jdbcDF = spark.read.format("jdbc")
    			  .option("delimiter", ",")
    			  .option("heard", true)
    			  .option("url", "jdbc:mysql://ip:xxxx/test?useUnicode=true&characterEncoding=utf-8")
    			  .option("dbtable", "temp")
    			  .option("user", "root").option("password", "123").load()
    val res=jdbcDF.write.format("csv").option("delimiter", ",")
    		 .option("heard", true).save("hdfs://ip:xxxx/a.txt")
  }
}