spark如何连接mysql
时间: 2025-07-07 18:12:19 浏览: 2
### Spark连接MySQL的方法配置教程
#### 1. 添加Maven依赖
为了使Spark能够成功连接到MySQL数据库,需要引入`mysql-connector-java`库作为依赖项。可以通过在项目的`pom.xml`文件中添加如下内容来实现:
```xml
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.22</version>
</dependency>
```
此操作会自动下载并集成所需的JDBC驱动程序[^1]。
#### 2. 手动放置驱动包至指定路径
如果项目未使用Maven构建工具,则可以手动将`mysql-connector-java`的jar文件复制到Spark安装目录下的`jars`子目录中。例如,在Linux环境下执行以下命令即可完成该过程:
```bash
cp /opt/soft/hive110/lib/mysql-connector-java-5.1.38.jar /opt/soft/spark240/jars/
```
通过这种方式同样能确保Spark具备访问MySQL的能力[^2]。
#### 3. 编写代码读取数据
以下是利用Scala编写的一个简单例子展示如何从MySQL表里加载数据进入DataFrame结构:
```scala
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder()
.appName("example")
.getOrCreate()
// 定义参数字典
val connectionProperties = new java.util.Properties()
connectionProperties.put("driver", "com.mysql.jdbc.Driver")
connectionProperties.put("user","root")
connectionProperties.put("password","123456")
// 构建url字符串
val url = "jdbc:mysql://hdp-01:3306/test?characterEncoding=utf-8"
// 使用 jdbc 方法获取 DataFrame 对象
val df = spark.read.jdbc(url,"table_name",connectionProperties)
df.show()
```
这里需要注意替换实际使用的用户名、密码以及目标表格名称等具体信息[^3]。
---
阅读全文
相关推荐

















