一文秒懂python读写csvxmljson文件各种骚操作资源-CSDN下载

187 浏览量 2020-09-19 04:10:28 上传评论收藏 75KB PDF 举报

多年来，数据存储的可能格式显著增加，但是，在日常使用中，还是以 CSV 、 JSON 和 XML 占主导地位。在本文中，我将与你分享在Python中使用这三种流行数据格式及其之间相互转换的最简单方法,需要的朋友可以参考下 ### Python读写CSV、XML与JSON文件详解 #### 一、引言随着信息技术的不断发展，数据存储格式也在不断变化，但CSV、JSON和XML仍然是数据处理中最常用的格式。Python作为一门灵活且功能强大的编程语言，提供了丰富的工具来处理这些格式的数据。本文将详细介绍如何在Python中读取和写入这三种格式的数据文件，并演示它们之间的相互转换。 #### 二、CSV数据处理 ##### 1. 使用Python内置库`csv` CSV（Comma-Separated Values）是一种简单的文件格式，用于存储表格数据。Python自带的`csv`模块提供了读写CSV文件的功能。 - **读取CSV文件**： - 使用`csv.reader()`读取CSV文件。 - 可以通过迭代器的方式逐行读取。 - 示例代码如下： ```python import csv filename = "my_data.csv" fields = [] rows = [] # 读取csv文件 with open(filename, 'r') as csvfile: # 创建一个csvreader对象 csvreader = csv.reader(csvfile) # 从文件中第一行中读取属性名称信息 fields = next(csvreader) for row in csvreader: rows.append(row) print("Total no. of rows: %d"%(csvreader.line_num)) ``` - **写入CSV文件**： - 首先定义字段名。 - 使用`csv.writer()`将数据写入文件。 - 示例代码如下： ```python import csv fields = ['Name', 'Goals', 'Assists', 'Shots'] rows = [ ['Emily', '12', '18', '112'], ['Katie', '8', '24', '96'], ['John', '16', '9', '101'], ['Mike', '3', '14', '82'] ] filename = "soccer.csv" with open(filename, 'w') as csvfile: # 创建一个csvwriter对象 csvwriter = csv.writer(csvfile) # 写入字段名 csvwriter.writerow(fields) # 写入数据 csvwriter.writerows(rows) ``` ##### 2. 使用Pandas处理CSV文件 Pandas是一个强大的数据分析库，提供了高效的数据结构DataFrame，以及丰富的数据处理功能。 - **读取CSV文件**： - 使用`pd.read_csv()`函数。 - 示例代码如下： ```python import pandas as pd filename = "my_data.csv" data = pd.read_csv(filename) print(data.head(5)) ``` - **写入CSV文件**： - 使用`DataFrame.to_csv()`方法。 - 示例代码如下： ```python data.to_csv("new_data.csv", sep=",", index=False) ``` #### 三、JSON数据处理 JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成。 - **读取JSON文件**： - 使用`json.load()`或`json.loads()`函数。 - 示例代码如下： ```python import json with open('data.json') as f: data_list_of_dict = json.load(f) ``` - **写入JSON文件**： - 使用`json.dump()`函数。 - 示例代码如下： ```python data_to_write = {"name": "John", "age": 30, "city": "New York"} with open('data.json', 'w') as f: json.dump(data_to_write, f) ``` - **使用Pandas处理JSON文件**： - 直接使用Pandas读取JSON文件。 - 示例代码如下： ```python data = pd.read_json('data.json') print(data.head()) ``` #### 四、XML数据处理 XML（Extensible Markup Language）是一种标记语言，用于描述数据，可用于存储和传输数据。 - **读取XML文件**： - 使用Python的`xml.etree.ElementTree`模块。 - 示例代码如下： ```python import xml.etree.ElementTree as ET tree = ET.parse('data.xml') root = tree.getroot() for child in root: print(child.tag, child.attrib) ``` - **写入XML文件**： - 创建ElementTree对象并写入文件。 - 示例代码如下： ```python from xml.etree.ElementTree import Element, SubElement, Comment, tostring from xml.dom import minidom def prettify(elem): """Return a pretty-printed XML string for the Element.""" rough_string = tostring(elem, 'utf-8') reparsed = minidom.parseString(rough_string) return reparsed.toprettyxml(indent=" ") root = Element('root') comment = Comment('Generated for Python XML tutorial') root.append(comment) child1 = SubElement(root, 'child') child1.set('name', 'child1') child2 = SubElement(root, 'child') child2.set('name', 'child2') root.append(child2) tree = ET.ElementTree(root) tree.write('output.xml', encoding='utf-8', xml_declaration=True) ``` #### 五、数据格式之间的转换 - **CSV转JSON**： - 使用Pandas进行转换。 - 示例代码如下： ```python import pandas as pd df = pd.read_csv('data.csv') df.to_json('data.json', orient='records') ``` - **JSON转CSV**： - 使用Pandas进行转换。 - 示例代码如下： ```python import pandas as pd df = pd.read_json('data.json') df.to_csv('data.csv', index=False) ``` - **CSV转XML**： - 需要手动构建XML结构。 - 示例代码如下： ```python import csv import xml.etree.ElementTree as ET csv_filename = 'data.csv' xml_filename = 'data.xml' with open(csv_filename, 'r') as csv_file: csv_reader = csv.DictReader(csv_file) root = ET.Element('root') for row in csv_reader: xml_row = ET.SubElement(root, 'row') for key, value in row.items(): field = ET.SubElement(xml_row, key) field.text = value tree = ET.ElementTree(root) tree.write(xml_filename) ``` - **XML转CSV**： - 解析XML文件，然后构建CSV文件。 - 示例代码如下： ```python import xml.etree.ElementTree as ET import csv xml_filename = 'data.xml' csv_filename = 'data.csv' tree = ET.parse(xml_filename) root = tree.getroot() header = [elem.tag for elem in root[0]] with open(csv_filename, 'w', newline='') as csv_file: writer = csv.DictWriter(csv_file, fieldnames=header) writer.writeheader() for elem in root: row_data = {sub_elem.tag: sub_elem.text for sub_elem in elem} writer.writerow(row_data) ``` ### 结语通过本文的介绍，我们可以看到Python提供了丰富的工具来处理CSV、JSON和XML等数据格式。无论是读取、写入还是格式之间的转换，都有现成的库和方法可供选择。希望这些知识能够帮助你在实际项目中更高效地处理数据。

资源推荐

资源详情

资源评论

一文秒懂一文秒懂python读写读写csv xml json文件各种骚操作文件各种骚操作

多年来，数据存储的可能格式显著增加，但是，在日常使用中，还是以 CSV 、 JSON 和 XML 占主导地位。在本文中，我将与你分享在Python中使用这三种流行数据格式及其之

间相互转换的最简单方法,需要的朋友可以参考下

Python优越的灵活性和易用性使其成为最受欢迎的编程语言之一，尤其是对数据科学家而言。这在很大程度上是因为使用Python处理大型数据集是很简单的一件事情。

如今，每家科技公司都在制定数据战略。他们都意识到，拥有正确的数据(干净、尽可能多)会给他们带来关键的竞争优势。数据，如果使用有效，可以提供深层次的、隐藏在表象之下的信息。

多年来，数据存储的可能格式显著增加，但是，在日常使用中，还是以 CSV 、 JSON 和 XML 占主导地位。在本文中，我将与你分享在Python中使用这三种流行数据格式及其之间相互转换的最简单方

法!

CSV 数据数据

CSV文件是存储数据的最常见方式，你会发现，Kaggle竞赛中的大多数数据都是以这种方式存储的。我们可以使用Python内置的csv库读写CSV文件，通常，我们将数据读入一个列表中，列表中每个元

素又是一个列表，代表一行数据。

观察下面的代码，当我们运行 csv.reader() 时，就可以访问到我们指定的CSV数据文件。而 csvreader.next() 函数的作用是从CSV中读取一行，每次调用它，它都会移动到下一行。我们还可以通过 for

row in csvreader 使用for循环遍历csv的每一行。另外，最好确保每一行的列数相同，否则，在处理列表时可能会遇到一些错误。

import csv filename = "my_data.csv" fields = [] rows = [] # 读取csv文件 with open(filename, 'r') as csvfile: # 创建一个csv reader对象 csvreader = csv.reader(csvfile) # 从文件中第一行中读取属性名称信息 # fields = next(csvreader) python3.2 以上的版本使用 fields = csvreader.next() # 接着一行一行读取数据 for row in csvreader: rows.append(row) # 打印前5行信息 for row in rows[:5]: print(row)

在Python将数据写入CSV也很容易，在一个单独的列表中设置属性名称，并将要写入的数据存储在一个列表中。这一次，我们将创建一个 writer() 对象，并使用它将数据写入文件，这与我们读取数据的

方式非常相似。

import csv # 属性名称 fields = ['Name', 'Goals', 'Assists', 'Shots'] # csv文件中每一行的数据，一行为一个列表 rows = [ ['Emily', '12', '18', '112'], ['Katie', '8', '24', '96'], ['John', '16', '9', '101'], ['Mike', '3', '14', '82']] filename = "soccer.csv" # 将数据写入到csv文件中 with open(filename, 'w+') as csvfile: # 创建一个csv writer对象 csvwriter = csv.writer(csvfile) # 写入属性名称 csvwriter.writerow(fields) # 写入数据 csvwriter.writerows(rows)

当然，使用强大的pandas库将会使处理数据变得容易很多，从CSV读取和写入文件都只需要一行代码!

import pandas as pd filename = "my_data.csv" # 读取csv文件数据 data = pd.read_csv(filename) # 打印前5行 print(data.head(5)) # 将数据写入到csv文件中 data.to_csv("new_data.csv", sep=",", index=False)

我们甚至可以使用pandas通过一行代码快速将CSV转换为字典列表。转换为字典列表之后，我们可以使用 dicttoxml 库将其转换为XML格式，我们还可以将它保存为JSON文件!

import pandas as pd from dicttoxml import dicttoxml import json # 创建一个DataFrame data = {'Name': ['Emily', 'Katie', 'John', 'Mike'], 'Goals': [12, 8, 16, 3], 'Assists': [18, 24, 9, 14], 'Shots': [112, 96, 101, 82] } df = pd.DataFrame(data, columns=data.keys()) # 将DataFrame转化为一个字典并且将它存储到json文件中 data_dict = df.to_dict(orient="records") with open('output.json', "w+") as f: json.dump(data_dict, f, indent=4) # 将DataFrame转化为一个字典并且将它存储到xml文件中 xml_data = dicttoxml(data_dict).decode() with open("output.xml", "w+") as f: f.write(xml_data)

JSON数据数据

JSON提供了一种干净且易于阅读的格式，因为它维护了一个字典风格的结构。就像CSV一样，Python有一个内置的json模块，使读写变得超级容易！从上面的例子可以看到当我们读取CSV时，可以将

数据以字典的形式存储，然后再将字典写入文件。

import json import pandas as pd # 使用json模块从json文件中读取数据 # 以字典形式存储 with open('data.json') as f: data_listofdict = json.load(f) # 也可以直接使用pandas直接读取json文件 data_df = pd.read_json('data.json', orient='records') # 将字典数据保存为json文件 # 并使用 'indent' and 'sort_keys' 格式化json文件 with open('new_data.json', 'w+') as json_file: json.dump(data_listofdict, json_file, indent=4, sort_keys=True) # 也可以使用pandas将字典结构的数据保存为json文件 export = data_df.to_json('new_data.json', orient='records')

正如我们之前看到的，我们可以通过pandas或者使用Python的内置csv模块轻松地将我们的数据存储为CSV文件，而在转化为成XML时，我们使用的是 dicttoxml 库。

import json import pandas as pd import csv # 从json文件中读取数据 # 数据存储在一个字典列表中 with open('data.json') as f: data_listofdict = json.load(f) # 以列表中的字典写入倒csv文件中 keys = data_listofdict[0].keys() with open('saved_data.csv', 'w') as output_file: dict_writer = csv.DictWriter(output_file, keys) dict_writer.writeheader() dict_writer.writerows(data_listofdict)

XML数据数据

XML有点不同于CSV和JSON。通常，CSV和JSON由于其简单性而被广泛使用。它们读、写和解释起来既简单又快捷，不需要额外的工作，而且解析JSON或CSV是非常轻量级的。

另一方面，XML往往数据量要大一些。你如果正在发送更多的数据，这意味着你需要更多的带宽、更多的存储空间和更多的运行时间。但是与JSON和CSV相比，XML确实具有一些额外的特性：你可以

使用名称空间来构建和共享标准结构、更好的继承表示，以及用XML schema、DTD等表示数据的行业标准化方法。

要读取XML数据，我们将使用Python内置的XML模块的子模块ElementTree。这里，我们可以使用 xmltodict 库将ElementTree对象转换为字典。一旦有了字典，我们就可以像上面一样将字典换转换为

CSV、JSON或pandas的 DataFrame !

import xml.etree.ElementTree as ET import xmltodict import json tree = ET.parse('output.xml') xml_data = tree.getroot() xmlstr = ET.tostring(xml_data, encoding='utf8', method='xml') data_dict = dict(xmltodict.parse(xmlstr)) print(data_dict) with open('new_data_2.json', 'w+') as json_file: json.dump(data_dict, json_file, indent=4, sort_keys=True)

总结总结