如何读取一个文件夹下所有pdf文件中的表格数据并且将这些所有的数据汇总成excel的文件

时间: 2024-12-06 20:23:00 浏览: 67
在Python中,可以使用pandas库来处理PDF文件中的表格数据,并结合os库来遍历文件夹,然后利用openpyxl库来将所有数据写入Excel文件。以下是简化的步骤: 1. **安装所需库**: 首先需要安装`tabula-py`(用于从PDF中提取表格)、`pandas`(数据处理)和`openpyxl`(操作Excel文件)库。可以用pip来安装: ``` pip install tabula-py pandas openpyxl ``` 2. **读取PDF中的表格数据**: 使用`tabula-py`读取PDF中的表格并转化为DataFrame。例如,对于单页PDF: ```python import tabula pdf_files = ['path_to_pdf_folder/*'] # 替换为实际的文件夹路径 dfs = [] for file in pdf_files: df = tabula.read_pdf(file, pages='all') # 读取整个PDF dfs.append(df) ``` 3. **合并数据**: 将所有DataFrame拼接在一起,形成一个大表: ```python all_data = pd.concat(dfs, ignore_index=True) # 合并所有数据 ``` 4. **保存到Excel**: 最后,使用`openpyxl`将数据写入Excel文件: ```python writer = pd.ExcelWriter('output.xlsx', engine='openpyxl') all_data.to_excel(writer, sheet_name='Sheet1', index=False) # 写入第一个工作表 writer.save() ``` 5. **检查和优化**: 检查生成的Excel文件是否包含所有表格数据,如有必要,可能需要对数据进行预处理(如清洗、转换格式等),然后再次写入。 注意:这个过程假设PDF中的每个页面都是独立的表格,如果不是,则需要更复杂的逻辑来处理。另外,PDF表格的质量和结构各不相同,可能需要额外的错误处理代码来适应不同类型的PDF。
阅读全文

相关推荐

用python实现:读取在路径为:E:\CT\1项目\合肥融合清单\3国家系统填报\材料收集_环保局提供+企业上报数据\排污许可材料\登记管理\登记管理_Python测试的文件夹中的每一个pdf中参数及其结果,pdf中参数:省份(2)、地市(3)、区县(4)、注册地址(5)、生产经营场所地址(6)、行业类别(7)、生产经营场所中心经度(8)、中心纬度(9)、统一社会信用代码(10)、组织机构代码/其他注册号(11)、法定代表人/实际负责人(12)、联系方式,这些参数的对应结果内容在各自的原位置的右侧第一部分内容。生产工艺名称(13)、主要产品(14)、主要产品产能、计量单位、废气污染治理设施(16)、治理工艺、数量的对应结果在其原位置下方的内容。在原路径建立EXCEL,第一列是每个pdf的名称,如果名称带有“固定污染源排污登记表”,则将“固定污染源排污登记表”删除,汇总内容。具体的:遍历指定目录下的所有 PDF 文件:使用标准库 os 遍历文件夹。 读取 PDF 内容:采用 pdfplumber 提取文本。 提取所需字段:设计正则表达式模式以捕获省份、地市、区县、注册地址及生产工艺名称等信息。 处理多单元格情况:如果某些字段分布在多个单元格中,需先合并这些单元格再进行后续处理。 保存至 Excel 表格:将提取的结果存储到 DataFrame 中并通过 Pandas 导出为 Excel 文件。注意:除了省份(2)、地市(3)、区县(4)、注册地址(5)、生产经营场所地址(6)、行业类别(7)、生产经营场所中心经度(8)、中心纬度(9)、统一社会信用代码(10)、组织机构代码/其他注册号(11)、法定代表人/实际负责人(12)、联系方式这些参数。生产工艺名称(13)、主要产品(14)、主要产品产能、计量单位、废气污染治理设施(16)、治理工艺、数量情况不同。假设生产工艺名称(13)是(1,1),则主要产品(14)(1,2),主要产品产能(1,3),计量单位(1,4),这是参数名称所在行,分了四列。列位置一一对应的下行,第1列单元格可能存在合并现象,例如(2,1)和(3,1)合并为一个,或者(3,1)和(4,1)合并为一个等。假设(2,1)和(3,1)合并为一个的情况下,可能对应(2,2)、(3,2)两个结果,或者(2,2)、(3,2)、(4,2)三个结果等,(2,2)、(3,2)、(4,2)分别对应(2,3)、(3,3)、(4,3)、也对应(2,4)、(3,4)、(4,4)

import os import pdfplumber import pandas as pd from multiprocessing import Pool # 设置全局参数 PDF_FOLDER = 'your_folder_path' # 替换为实际文件夹路径 tb_header = pd.read_excel("护理表表头.xlsx", header=0) tb_df = tb_header.copy() def process_single_pdf(pdf_path): """处理单个PDF文件(供多进程调用)""" file_name = os.path.basename(pdf_path) result = {file_name: {}} try: with pdfplumber.open(pdf_path) as pdf: for page in pdf.pages: page_num = page.page_number tables = page.extract_tables({ "vertical_strategy": "lines", "horizontal_strategy": "lines", "explicit_vertical_lines": page.curves + page.edges, "explicit_horizontal_lines": page.curves + page.edges, "snap_tolerance": 8, "join_tolerance": 6, "text_x_tolerance": 6, "text_y_tolerance": 6 }) if tables: cleaned_tables = [ [ [cell.strip() if cell else "" for cell in row] for row in table ] for table in tables ] result[file_name][f"Page_{page_num}"] = cleaned_tables except Exception as e: print(f"处理文件 {file_name} 时出错: {str(e)}") result[file_name] = {"error": str(e)} return result def batch_process_pdfs(folder_path, workers=8): """批量处理PDF文件(多进程版本)""" all_results = {} pdf_files = [ os.path.join(folder_path, f) for f in os.listdir(folder_path) if f.lower().endswith('.pdf') ] with Pool(processes=workers) as pool: results = pool.map(process_single_pdf, pdf_files) for res in results: all_results.update(res) return all_results # 使用示例 if __name__ == "__main__": # 启动多进程处理(workers数量建议设置为CPU核心数×2) final_output = batch_process_pdfs(PDF_FOLDER, workers=8) # 查看结果结构 print(f"已处理 {len(final_output)} 个文件") for filename, content in final_output.items(): print(f"文件 {filename} 包含 {len(content)} 页表格数据") 似乎对于这段代码,只有所有文件都处理完毕才会有输出(final_output)?

最新推荐

recommend-type

python实现PDF中表格转化为Excel的方法

`pdfplumber`是`pdfminer.six`的一个轻量级接口,它提供了一种简单的方式来读取PDF文档,并且能够提取其中的表格数据。`pdfplumber`库包含了一些关键属性和方法,使得从PDF中提取表格变得容易: 1. `.metadata`: 这...
recommend-type

SpringBoot整合poi实现Excel文件的导入和导出.pdf

在SpringBoot项目中,我们经常需要处理Excel文件的导入与导出功能,这在数据分析、数据交换等场景中尤其常见。Apache POI 是一个流行的Java库,它允许开发者读写Microsoft Office格式的文件,包括Excel。下面我们将...
recommend-type

Vue如何将页面导出成PDF文件

在Vue CLI项目中,通常在`./utils`文件夹下创建一个名为`pdfExport.js`的文件,如果是Nuxt框架,则可能在`./plugins`文件夹下。在这个插件中,你需要导入`html2Canvas`和`JsPDF`,并定义一个Vue实例方法来处理PDF...
recommend-type

如何正确的删除Oracle表空间数据文件

在Oracle数据库管理中,删除表空间数据文件是一项关键操作,涉及到数据的安全性和系统的稳定性。本文将详细介绍如何正确地删除Oracle表空间数据文件,探讨OFFLINE和OFFLINE DROP的区别,以及在操作系统层面删除数据...
recommend-type

基于Python快速处理PDF表格数据

`pdfplumber`是一个强大的工具,专门用于读取PDF文件中的表格和文本。导入所需的库,即`pdfplumber`和`pandas`,`pandas`库用于将提取的数据转换成结构化的DataFrame对象,便于后续分析: ```python import ...
recommend-type

500强企业管理表格模板大全

在当今商业环境中,管理表格作为企业运营和管理的重要工具,是确保组织高效运作的关键。世界500强企业在管理层面的成功,很大程度上得益于它们的规范化和精细化管理。本文件介绍的“世界500强企业管理表格经典”,是一份集合了多种管理表格模板的资源,能够帮助管理者们更有效地进行企业规划、执行和监控。 首先,“管理表格”这个概念在企业中通常指的是用于记录、分析、决策和沟通的各种文档和图表。这些表格不仅仅局限于纸质形式,更多地是以电子形式存在,如Excel、Word、PDF等文件格式。它们帮助企业管理者收集和整理数据,以及可视化信息,从而做出更加精准的决策。管理表格可以应用于多个领域,例如人力资源管理、财务预算、项目管理、销售统计等。 标题中提及的“世界500强”,即指那些在全球范围内运营且在《财富》杂志每年公布的全球500强企业排行榜上出现的大型公司。这些企业通常具备较为成熟和先进的管理理念,其管理表格往往经过长时间的实践检验,并且能够有效地提高工作效率和决策质量。 描述中提到的“规范化”是企业管理中的一个核心概念。规范化指的是制定明确的标准和流程,以确保各项管理活动的一致性和可预测性。管理表格的使用能够帮助实现管理规范化,使得管理工作有据可依、有章可循,减少因个人经验和随意性带来的风险和不确定性。规范化管理不仅提高了企业的透明度,还有利于培养员工的规则意识,加强团队之间的协调与合作。 “经典”一词在这里强调的是,这些管理表格模板是经过实践验证,能够适用于大多数管理场景的基本模式。由于它们的普适性和高效性,这些表格模板被广泛应用于不同行业和不同规模的企业之中。一个典型的例子是SWOT分析表,它可以帮助企业识别内部的优势(Strengths)、弱点(Weaknesses)以及外部的机会(Opportunities)和威胁(Threats)。SWOT分析表就是一个在世界500强企业中普遍使用的管理表格。 标签中的“表格模板”则是对上述管理工具的具体描述。这些模板通常是预先设计好的,能够帮助企业管理者快速开始工作,无需从零开始制作新的表格。它们包含了一些必备的字段和格式,用户可以根据自己的具体需求对模板进行调整和填充。 文件名称列表中的“index.html”可能是压缩包内的一个网页文件,用于展示管理表格的索引或介绍。如果这是一个在线资源,它将允许用户通过网页界面访问和下载各种表格模板。而“menu”可能是一个导航文件,用来帮助用户在多个表格模板之间进行选择。“data”文件夹可能包含了实际的表格模板文件,它们可能以Excel、Word等格式存在。 总的来说,管理表格是企业成功管理不可或缺的工具。通过使用世界500强企业所采纳的管理表格模板,其他企业可以借鉴这些顶级企业的管理经验,帮助自己在管理实践中达到更高的效率和质量。通过规范化和模板化的管理表格,企业可以确保其管理活动的一致性和标准化,这对于保持竞争力和实现长期发展至关重要。
recommend-type

YOLOv8目标检测算法深度剖析:从零开始构建高效检测系统(10大秘诀)

# 1. YOLOv8目标检测算法概述 ## 1.1 YOLOv8的简介与定位 YOLOv8(You Only Look Once version 8)作为一种前沿的目标检测算法,是由YOLO系列算法演化而来。该算法特别强调快速与准确的平衡,它被设计用于实时图像识别
recommend-type

mclmcrrt9_8.dll下载

<think>我们正在处理用户关于"mclmcrrt9_8.dll"文件的下载请求。根据引用内容,这个文件是MATLAB运行时库的一部分,通常与特定版本的MATLABRuntime相关联。用户需求:下载mclmcrrt9_8.dll的官方版本。分析:1.根据引用[2]和[3],mclmcrrt9_0_1.dll和mclmcrrt9_13.dll都是MATLABRuntime的文件,版本号对应MATLAB的版本(如9_0对应R2016a,9_13对应2022b)。2.因此,mclmcrrt9_8.dll应该对应于某个特定版本的MATLAB(可能是R2016b?因为9.8版本通常对应MATLABR
recommend-type

林锐博士C++编程指南与心得:初学者快速提能

首先,这份文件的核心在于学习和提高C++编程能力,特别是针对初学者。在这个过程中,需要掌握的不仅仅是编程语法和基本结构,更多的是理解和运用这些知识来解决实际问题。下面将详细解释一些重要的知识点。 ### 1. 学习C++基础知识 - **基本数据类型**: 在C++中,需要熟悉整型、浮点型、字符型等数据类型,以及它们的使用和相互转换。 - **变量与常量**: 学习如何声明变量和常量,并理解它们在程序中的作用。 - **控制结构**: 包括条件语句(if-else)、循环语句(for、while、do-while),它们是构成程序逻辑的关键。 - **函数**: 理解函数定义、声明、调用和参数传递机制,是组织代码的重要手段。 - **数组和指针**: 学习如何使用数组存储数据,以及指针的声明、初始化和运算,这是C++中的高级话题。 ### 2. 林锐博士的《高质量的C++编程指南》 林锐博士的著作《高质量的C++编程指南》是C++学习者的重要参考资料。这本书主要覆盖了以下内容: - **编码规范**: 包括命名规则、注释习惯、文件结构等,这些都是编写可读性和可维护性代码的基础。 - **设计模式**: 在C++中合理使用设计模式可以提高代码的复用性和可维护性。 - **性能优化**: 学习如何编写效率更高、资源占用更少的代码。 - **错误处理**: 包括异常处理和错误检测机制,这对于提高程序的鲁棒性至关重要。 - **资源管理**: 学习如何在C++中管理资源,避免内存泄漏等常见错误。 ### 3. 答题与测试 - **C++C试题**: 通过阅读并回答相关试题,可以帮助读者巩固所学知识,并且学会如何将理论应用到实际问题中。 - **答案与评分标准**: 提供答案和评分标准,使读者能够自我评估学习成果,了解哪些方面需要进一步加强。 ### 4. 心得体会与实践 - **实践**: 理论知识需要通过大量编程实践来加深理解,动手编写代码,解决问题,是学习编程的重要方式。 - **阅读源码**: 阅读其他人的高质量代码,可以学习到许多编程技巧和最佳实践。 - **学习社区**: 参与C++相关社区,比如Stack Overflow、C++论坛等,可以帮助解答疑惑,交流心得。 ### 5. 拓展知识 - **C++标准库**: 学习C++标准模板库(STL),包括vector、map、list、algorithm等常用组件,是构建复杂数据结构和算法的基础。 - **面向对象编程**: C++是一种面向对象的编程语言,理解类、对象、继承、多态等概念对于写出优雅的C++代码至关重要。 - **跨平台编程**: 了解不同操作系统(如Windows、Linux)上的C++编程差异,学习如何编写跨平台的应用程序。 - **现代C++特性**: 学习C++11、C++14、C++17甚至C++20中的新特性,如智能指针、lambda表达式、自动类型推导等,可以提高开发效率和代码质量。 ### 总结 学习C++是一个系统工程,需要从基础语法开始,逐步深入到设计思想、性能优化、跨平台编程等领域。通过不断的学习和实践,初学者可以逐步成长为一个具有高代码质量意识的C++程序员。而通过阅读经典指南书籍,参与测试与评估,以及反思和总结实践经验,读者将更加扎实地掌握C++编程技术。此外,还需注意编程社区的交流和现代C++的发展趋势,这些都对于保持编程技能的前沿性和实用性是必不可少的。
recommend-type

线性代数方程组求解全攻略:直接法vs迭代法,一文搞懂

# 摘要 线性代数方程组求解是数学和工程领域中的基础而重要的问题。本文首先介绍了线性方程组求解的基础知识,然后详细阐述了直接法和迭代法两种主要的求解策略。直接法包括高斯消元法和LU分解方法,本文探讨了其理论基础、实践应用以及算法优化。迭代法则聚焦于雅可比和高斯-赛德尔方法,分析了其原理、实践应用和收敛性。通过比较分析,本文讨论了两种方法在