pyspark采用jdbc读取数据库的注意点

已于 2023-07-13 09:37:51 修改
阅读量519 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： spark python
于 2023-07-13 09:36:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36892706/article/details/131695022
文章介绍了在使用pyspark的jdbc方式读写数据库时遇到的`java.lang.ClassNotFoundException:com.kingbase.Driver`错误及解决方法。问题在于jdbc驱动类找不到，即使通过`--driver-class-path`参数指定jar包也无效。提供的解决方案包括将jar包放入spark的jars和bin目录，或者在python运行参数中使用`--jars`指定jar包路径。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

pyspark采用jdbc读取数据库的注意点

前言

本文记录了本人在使用pyspark的jdbc方式读写各类数据库时遇到的错误和处理方式

环境

pyspark:3.0.1
本地部署的spark版本：3.0.0

问题与处理方法

Caused by: java.lang.ClassNotFoundException: com.kingbase.Driver

日志显示，jdbc驱动类找不到，且即便是在python执行的参数后面增加 --driver-class-path 参数指定驱动类的jar包也不起作用

处理方式

方式一：将驱动jar包放到本地部署的spark路径下的jars和bin文件夹下（亲测可用）
方式二：python运行参数后面增加 --jars 指定jar包路径（他人提供的方法，未测试）

本文随时更新，遇到新问题即记录

PySpark JDBC 读写 MySQL 数据库保姆级指南
大模型大数据攻城狮的专栏
06-04 789
通过上述步骤，您可以使用 PySpark 通过 JDBC 连接读写 MySQL 数据库。为了连接到 MySQL 数据库，您需要下载 MySQL 的 JDBC 驱动程序。在开始之前，确保您已经安装了 PySpark 和 MySQL 数据库，并且已经有一个 MySQL 数据库实例可供连接。下载后，确保 JDBC 驱动的 JAR 文件路径被添加到 PySpark 的类路径中。如果您的数据量很大，可以配置分区列和分区范围来并行读取数据。为了提高读写性能，您可以调整一些 JDBC 特定的配置选项。
PySpark 教程之为并行效果调整 JDBC(教程含源码)
iCloudEnd的博客
10-24 619
它花费了将近 1/3 的时间，从而使读取速度提高了 3 倍，并且我们的数据现在也被分区了。现在，如果您关注我 — 上一篇文章分享了一些通过 JDBC 读取 SQL 数据源的性能优化技术。让我们创建我们的 SparkSession，其中包含使用 JDBC 从 SQLite 数据源读取所需的库文件。今天让我们进一步调整 JDBC 连接，以充分利用 SQL 数据源读取的每一盎司性能优势。如您所见，完整读取是通过与数据库的单一连接进行的。所以，让我们用上面的参数调整我们的 JDBC 连接。
Spark读写JDBC数据
weixin_44769733的博客
10-10 1985
前言: 使用spark去读取JDBC的数据,有三种读取方式,如果数据量特别大的时候,达到了亿级的数据量,最好使用分区的方式读取.否则容易出现OOM异常. 文末再附pom依赖! 一:读取数据的三种方式 1.第一种方式(不指定分区) 1.jdbc源码参数 url:表示jdbc连接 table:表示读取的表名 properties:表示配置信息 def jdbc(url: String, table:...
pyspark借助jdbc读写mysql数据库
h18208975507的博客
11-03 890
df = spark.read.format('jdbc').options( url='jdbc:mysql://127.0.0.1', dbtable='test02 ', user='root', password='mysql' ).load() df.show() # 也可以传入SQL语句 sql="(select * from test02 where db='test') t" df = spark.read.format('jdbc').o.
pyspark 通过 JDBC 读写 mysql / postgresql
wangjz_ivan的博客
04-02 3498
参考链接 https://spark.apache.org/docs/latest/sql-data-sources-jdbc.html https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.DataFrameWriter.jdbc.html 准备工作 下载 mysql / postgresql 驱动。 将 xxxconnector.jar 放到 spark/jars 下面（或者在代码中指定 jar 文件路径
pyspark通过JDBC链接mysql(DataFrame)
m0_48830183的博客
12-01 5445
一前言 Mysql版本：8.0.21 spark版本：3.1.1 hadoop版本：2.7.5 JDBC驱动程序版本：mysql-connector-java-5.1.46.tar.gz 二、正文 1、先在mysql里建立spark数据库，同时建立一个student表，向表中插入一些数据 mysql> create database spark; mysql> use spark; mysql> create table student (id int(4), name char(20),
Spark/Pyspark 通过JDBC连接Sqlserver
weixin_45067618的博客
11-01 1342
自己整理记录的
Databricks 第3篇：pyspark.sql 通过JDBC连接数据库
悦光阴的博客
01-08 1225
Databricks Runtime 包含Azure SQL 数据库的 JDBC 驱动程序，本文介绍如何使用数据帧 API 连接到使用 JDBC 的 SQL 数据库，通过 JDBC 接口进行的读取操作和更新操作。 在Databricks的Notebook中，spark是Databricks内置的一个SparkSession，可以通过该SparkSession来创建DataFrame、引用Data...
用pyspark，读取mysql数据库
最新发布
03-23
PySpark 是 Spark 的 Python API，能够通过 JDBC（Java Database Connectivity）接口与 MySQL 数据库建立连接，并实现数据的读取和写入操作。以下是关于如何使用 PySpark 连接并读取 MySQL 数据库的具体方法。 ####...
pyspark连接clickhouse数据库的方式(其它数据库同样适用）
积跬步，慕至千里的博客
01-17 825
如何用pyspark连接clickhouse，本文通过测试，给出了示例案例。本文的连接方式，同样可以衍生适用于mysql、oracle等数据库。
pyspark读取Oracle数据库并根据字段进行分区
intersting的博客
12-11 2423
前一篇文章pyspark连接oracle中详细讲述了初步连接Oracle的方法，这种连接方式每次只使用一个RDD分区，即numPartitions默认为１．这种方式当表特别大的时候，很可能出现OOM． pyspark提供两种对数据库进行分区读取的方式 方法一：指定数据库字段的范围 之前的方式是： empDF = spark.read \ .format("jdbc") \ ...
kingbase8-8.2.0.jar
06-30
java 版本 人大金仓V8最新版驱动程序，学习使用国产化数据库操作
PySpark 入门：通过JDBC连接数据库(DataFrame)
橘嘉禾
03-29 482
这里以关系数据库MySQL为例。首先，本博客教程(Ubuntu 20.04 安装MySQL 8.X)，在Linux系统中安装好MySQL数据库。这里假设你已经成功安装了MySQL数据库。下面我们要新建一个测试Spark程序的数据库，数据库名称是“spark”，表的名称是“student” 请执行下面命令在Linux中启动MySQL数据库，并完成数据库和表的创建，以及样例数据的录入： servic...
pyspark写入mysql关于jdbc的加载方法
qq_36329233的博客
09-10 2523
from pyspark.sql import SparkSession # Creates spark session with JDBC JAR spark = SparkSession.builder \ .appName('stack_overflow') \ .config('spark.jars', '/path/to/mysql/jdbc/connector') ...
spark的jdbc连接数据库
jinying_51eqhappy的博客
07-25 1052
必须配置的两点：1.配置驱动包和依赖jar包2.如果没有配置可能会提示驱动不匹配。
java.lang.ClassNotFoundException: com.cloudera.impala.jdbc41.Driver 没有引入impala驱动
*** 棋了个怪_Rachel ***
12-17 3345
加上驱动即可！！！！！！ <dependency> <groupId>tangtang.impala</groupId> <!-- 库名称，也可以自定义 --> <artifactId>impalajdbc41</artifactId> <!--库名称，也可以自定义--> <version>1.0...
解决金仓数据源报：Caused by: java.lang.ClassNotFoundException: com.kingbase.Driver
般若
12-13 7468
文件名称 版本号 作者 qq 版本 解决金仓数据源报：Caused by: java.lang.ClassNotFoundException: com.kingbase.Driver v1.0.0 学生宫布 8416837 SpringBoot 2.2.6SpringCloud Hoxton.SR4 文章目录备注：这个问题是自定义代码bug，网上可能没有多少人遇到这个问题报错全称代码产生的原因弯路、坑分析解决方案领悟关于 备注：这个问题是自定义代码bug，网上可能没有多少人遇到这个问题 ...
Caused by: java.lang.ClassNotFoundException问题总结
qq_46411309的博客
07-30 1万+
Caused by: java.lang.ClassNotFoundException: org.apache.flink.table.api.bridge.java.internal.BatchTableEnvironmentImpl 一、原因找不到BatchTableEnvironmentImpl 确实没有。 二、 解决 分析原因：下载的jar包里不存在方法实现，可能是因为网络原因；也有可能配的依赖就没有这个实现。 由于用到这个方法的程序是批处理，所以应该导入批处理依赖 <dependency
java.lang.ClassNotFoundException：如何解决
热门推荐
编程不良人
08-17 1万+
好吧，因为我们将完整的类名更改为org.ph.javaee.training5.ClassB，所以在运行时找不到此类（不存在），从而导致Class.forName（）和ClassLoader.loadClass（）调用均失败。正在从ClassLoader’sun.misc.Launcher$AppClassLoader@2a340e’加载org.ph.javaee.training5.ClassA类的类…正在创建org.ph.javaee.training5.ClassA的新实例…...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值