Spark实战：Spark读取Excel文件

已于 2024-01-05 21:03:49 修改
阅读量2k 收藏 1
点赞数 1
分类专栏： Spark大数据处理讲课笔记 文章标签： spark excel csv
于 2023-11-14 18:01:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/howard2005/article/details/134404468
版权
这篇博客详细介绍了如何在Spark集群环境下处理Excel和CSV文件。首先通过WPS将Excel转换为CSV并上传到Spark集群，然后在Spark Shell中读取CSV文件生成DataFrame。接着，介绍了如何添加spark-excel库读取Excel文件，最后提供了在Spark Shell和Scala程序中读取Excel文件的实战步骤，展示了Spark处理不同格式数据文件的能力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、实战概述

  • 这是一个关于在Spark集群环境中读取和处理Excel及CSV文件的实战操作流程总结。

  • 首先，通过WPS工具将Excel数据源test.xlsx转换为CSV格式，并保存为test.csv文件。然后将此CSV文件从名为“bigdata”的Ubuntu虚拟机上传至CentOS系统的Spark集群主节点（master）bigdata1的/home目录下。

  • 在Spark集群管理中，用户首先在master节点上启动spark-shell交互式环境。接着，使用Spark的DataFrame API读取已上传的test.csv文件，通过指定格式、表头选项以及字段分隔符，成功将CSV内容加载到DataFrame (testdf)中，并通过.show方法查看其内容。

  • 接下来，在处理Excel文件时，用户下载了与Spark兼容的spark-excel_2.12-3.3.1_0.18.5.jar包并将其复制到master节点的/home目录。随后，在重新启动包含该jar包的spark-shell时，通过添加--jars参数指定依赖库路径

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【Spark】-- spark com.crealytics 读写 excel 实现
欢迎来到我的博客，一起探索代码里的世界！
11-12 541
这些选项用于配置从 Excel 文件中读取数据的行为。这些选项用于配置将数据写入 Excel 文件时的行为。
Spark 如何读取 excel 指定 sheet 中的数据
qq_40147094的博客
10-25 2833
最近遇到一个需求，就是使用 spark-excel 读取 excel，需要根据输入的 sheet 页数读取数据。我在网上搜索了一番，却没有合适的答案。 当然，我第一时间也看了 ExcelOptions 类中的配置属性，也没有 sheet 相关的内容，正当我苦恼时，仔细阅读了一下官方文档，上面说： If the sheet name is unavailable, it is possible to pass in an index 我发现...
spark读取excel表格
我的博客
10-29 9908
参考资料：https://blog.csdn.net/qq_38689769/article/details/79471332 参考资料：https://blog.csdn.net/Dr_Guo/article/details/77374403?locationNum=9&fps=1 pom.xml: <!--读取excel文件--> <dep...
34、Spark实现读取XLS文件
最新发布
weixin_42960808的博客
04-21 275
spark.read.format(“xls”).option(“path”, logPath).load()能够跑通。但是对应xls大文件还是会oom。具体了解后得到原因：SSTRecord存储了整个excel中所有字符串去重后结果，LabelSSTRecord只是存储了该字符串值在SSTRecord中的索引位置。所以在逐条处理xls文件数据的时候遇到SSTRecord还是会oom。搜索了poi流式读取xls的方案，HSSFEventFactory提供了HSSFListener进行逐条处理数据。
spark-excel：一个用于通过Apache POI读取Excel文件的Spark插件
02-05
spark-excel：一个用于通过Apache POI读取Excel文件的Spark插件
Spark读取Excel文件
AnameJL的博客
04-25 2038
具体的代码模板大概就这些内容了,要根据实际的开发需求进行逻辑变更或配置变更.Spark读取Excel文件需要先添加对应的第三方库。将上面的依赖添加上即可。
spark读取Excel文件：
weixin_44947939的博客
06-23 2798
spark读取Excel文件
利用SparkSQL读写Excel数据
敏叔
11-06 8374
一点前言 直接来说，这种很多程序员的梦想~ 撸了大半辈子的代码，号称可以把宇宙Coding出来，结果到了Excel这块卡主了。我就是想写SQL去查Excel，不喜欢记住那么多Excel操作! 好在，我们这个世界变化很快，Excel新的版本号称是支持python的，也准备支持js，不过有个问题是当年一直追随window的程序员因为技术提升有了Mac了，新版本的office目测还收费,en~ 我在玩Spark的时候发现可以搞Excel，秃秃的脑袋瓜一转~~ 起手 不得不说真需要狠狠感谢这个开源的世界，以及基础环
【SPARK】Spark 使用java API读取Excel
Zsigner的博客
02-02 1021
过程： 1、添加两个pom <!--读取excel文件--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.10-FINAL</versi...
Spark操作Excel最佳实践
Java/Python大数据随笔
07-04 668
Apache POI（Poor Obfuscation Implementation）是Apache软件基金会的一个开源项目，提供了用于读写Microsoft Office格式文件（如Word、Excel、PowerPoint）的Java APIPOI虽然支持多种文档格式的读写，但是我们最常用的还是对Excel文件的读写。POI技术使得Java开发人员能够轻松地操作和处理Office文档，它为我们提供了丰富的功能和灵活性HSSF。
spark-excel_2.11-0.8.3.jar
04-13
spark 读取excel 的jar 包
使用Apache Spark处理Excel文件的简易指南
查拉图斯特拉talk的博客
01-18 1288
在日常的工作中，表格内的工具是非常方便的x，但是当表格变得非常多的时候，就需要一些特定的处理。Excel作为功能强大的数据处理软件，广泛应用于各行各业，从企业管理到数据分析，可谓无处不在。然而，面对大型且复杂的数据，Excel的处理能力可能力不从心。对此，我们可借助Apache Spark这一分布式计算框架，凭借其强大的计算与数据处理能力，快速有效地处理Excel数据。这些数据进行一个分析，整理，筛选，排序。分析整理有用的内容。虽然仅处理基础数据，但在集群环境下，Spark展现出优秀的大规模数据处理能力。
Spark怎么样可以拉取excel的数据
别人笑我太疯癫，我笑他人看不穿。
02-19 1731
需要导入一个支持的jar。
sparkSQL读取Excel表格
我的博客
10-29 3098
转自：https://www.cnblogs.com/shenyuchong/p/10291604.html 编码 初始化SparkSession static{ System.setProperty("hadoop.home.dir", HADOOP_HOME); spark = SparkSession.builder() .appName("...
探索Spark-Excel：高效处理Excel数据的新工具
gitblog_00005的博客
04-19 580
探索Spark-Excel：高效处理Excel数据的新工具 spark-excelA Spark plugin for reading and writing Excel files项目地址:https://gitcode.com/gh_mirrors/sp/spark-excel 是一个强大的开源库，专为Apache Spark设计，用于在大数据环境中高效地读取、写入和操作Excel文件。这个...
Spark-Excel算子
m0_43405302的博客
11-08 1447
文章目录欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编
利用Spark代码从Excel文件中读取多个数据表数据（使用Session读取）
qq_44735442的博客
09-26 1126
利用spark代码从excel文件中读取数据 1.需要添加poi的pom文件 <!-- 读取excel xlsx--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.17</version> </dependency>
spark3.3.x处理excel数据
jkllb123的博客
10-25 1818
ps:刚开始用的3.3.3_0.20.1这个版本的不可用，具体报啥错忘了，降到3.3.1_0.18.5该版本正常。2、使用自定义schema（该方法如果excel文件第一行不是所需数据，需手动限制读取的数据范围）1、直接使用excel文件第一行作为schema。或项目里配置pom.xml。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值