Spark连接mysql

最新推荐文章于 2025-05-18 21:28:29 发布

凉城的夜

最新推荐文章于 2025-05-18 21:28:29 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

文章标签： spark mysql

本文链接：https://blog.csdn.net/sinat_32651363/article/details/79154409

spark连接mysql，注意mysql的配置等问题需要在pom文件中添加。

版本根据自己版本对应添加。

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.22</version>
</dependency>

这是spark连接mysql文件：

package SqlSpark

import org.apache.spark.{SparkConf, SparkContext}


object sqlSpark {

  case class zbh_test(day_id:String, prvnce_id:String,pv_cnts:Int)

  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("mysql").setMaster("local[4]")
    val sc = new SparkContext(conf)
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)


    val sql="select id,region,city,company,name from tb_user_imei"
    //定义mysql信息
    val jdbcDF = sqlContext.read.format("jdbc").options(
      Map("url"->"jdbc:mysql://localhost:3306/student",
        "dbtable"->s"(${sql}) as table01",
        "driver"->"com.mysql.jdbc.Driver",
        "user"-> "root",
        //"partitionColumn"->"day_id",
        "lowerBound"->"0",
        "upperBound"-> "1000",
        //"numPartitions"->"2",
        "fetchSize"->"100",
        "password"->"root")
    ).load()

//        jdbcDF.show()
    jdbcDF.collect().take(20).foreach(println) //终端打印DF中的数据。

  }
}