写 Spark 程序,实现以下操作:通过 Spark SQL 读取关系型数据库MySQL中的数据。给出具体操作代码和操作结果截图。
时间: 2025-02-22 14:32:52 浏览: 27
在Spark中,你可以使用PySpark或者Spark SQL API来连接并查询MySQL数据库。首先确保你已经安装了`pyspark`和对应的MySQL驱动,如`mysql-connector-python`。
以下是使用PySpark连接MySQL并读取数据的基本步骤:
```python
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.appName("MySQL-to-Spark").getOrCreate()
# 配置连接MySQL的模式
spark.conf.set("spark.jars.packages", "com.mysql.cj.jdbc:mysql-connector-java:8.0.26")
# 连接MySQL
uri = "jdbc:mysql://<your_host>:<port>/<database>?user=<username>&password=<password>&driver=com.mysql.cj.jdbc.Driver"
df_mysql = spark.read.format("jdbc").options(url=uri, driver="com.mysql.cj.jdbc.Driver").load()
# 显示前几行数据(视具体表结构而定)
df_mysql.show(5)
# 结束SparkSession
spark.stop()
```
在这个代码片段中,你需要替换 `<your_host>`, `<port>`, `<database>`, `<username>` 和 `<password>` 为你实际的MySQL服务器配置信息。
运行此代码后,你会得到从MySQL数据库加载到Spark DataFrame的一个结果集。请注意,由于这是一个文本环境,我无法提供截图。如果执行顺利,你应该能看到类似于这样的数据行。
阅读全文
相关推荐


















