SparkSql学习---链接MySQL数据库并更新数据

最新推荐文章于 2025-06-16 23:27:23 发布

卓_尔_不_凡

最新推荐文章于 2025-06-16 23:27:23 发布

阅读量837

点赞数 4

CC 4.0 BY-SA版权

分类专栏： spark-sql 文章标签：学习 spark hadoop 分布式 mysql

本文链接：https://blog.csdn.net/weixin_46164667/article/details/138152921

本文介绍了如何在Python环境下，通过SparkSession连接MySQL数据库，包括读取现有表数据、创建数据库和表结构，以及使用JDBC将数据从CSV文件写入数据库。特别提到了驱动程序的选择问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

要先向环境中添加mysql的jar包：

数据库端口：3306

用户：root

密码：root

数据库：spark

第一种写法：在已有的表中读取和添加数据

创建数据库sql语句：

CREATE database spark;
use spark;
create table student (id int(4), name char(20), gender char(4), age int(4));
alter table student change id id int auto_increment primary key;
insert into student values(1,'Xueqian','F',23);
insert into student values(2,'Weiliang','M',24);
select * from student;

from pyspark.sql.types import *
from pyspark.sql import SparkSession

if __name__ == '__main__':
    # 0. 构建执行环境入口对象SparkSession
    spark = SparkSession.builder.\
        appName("test").\
        master("local[*]").\
        config("spark.sql.shuffle.partitions