提取csv表格中指定列相同数据

假设CSV文件名为 `data.csv`，其中包含以下列：`序号，姓名，违规类型`，我们可以使用Python中的pandas库来完成任务。 ```python import pandas as pd # 读取CSV文件 df = pd.read_csv('data.csv') # 获取违规类型列表 violation_list = df['违规类型'].unique() # 遍历违规类型列表，提取相同类型记录 for violation in violation_list: sub_df = df[df['违规类型'] == violation] # 对子数据框按照序号列排序 sub_df = sub_df.sort_values(by=['序号']) # 输出结果 print(violation) print(sub_df) ``` 上述代码会首先读取CSV文件，然后获取违规类型列表。接着遍历违规类型列表，提取相同类型记录，并且按照序号列排序。最后输出结果。 注意，如果你使用的CSV文件编码不是UTF-8，那么你需要在读取CSV文件时指定正确的编码格式。例如： ```python df = pd.read_csv('data.csv', encoding='gbk') ``` 其中，`gbk`为对应编码格式。

<think>我们有一个任务：将多个CSV文件按照ID列连接合并成一个宽格式表格。每个CSV文件的其他列将作为新列加入合并表，并且列名使用CSV文件名（不带扩展名）作为前缀。 步骤： 1. 读取所有CSV文件，并存储为DataFrame的列表，同时记录文件名（用于列名前缀）。 2. 遍历每个DataFrame，将其ID列作为索引（或者保留为列），然后将其余列重命名，加上文件名前缀。 3. 将所有DataFrame按照ID列进行合并（merge）或者连接（join）。由于是宽格式，每个ID应该只有一行，因此我们需要将每个文件的数据横向合并到同一个ID上。 注意：可能存在同一个ID在不同文件中出现多次的情况，但我们这里假设每个文件中每个ID是唯一的（即每个文件都是宽格式的一行代表一个ID）。如果不是，则需要先做聚合处理，但根据要求，我们按ID合并，所以如果出现重复，合并时会出现多行，这可能不是我们想要的。因此，我们假设每个文件内ID唯一。 具体做法： - 我们可以先读取第一个文件，将其作为基础DataFrame。 - 然后依次读取其他文件，每个文件读取后，将其列名（除了ID列）改为“文件名_原列名”，然后与基础DataFrame通过ID进行左连接（或外连接，根据需求）合并。 - 或者，我们可以先将所有DataFrame读入，然后使用`pd.merge`或`functools.reduce`来逐个合并，或者使用`pd.concat`但注意`pd.concat`是沿着轴拼接，这里我们需要的是横向合并，所以用merge。 但是，由于每个文件可能有不同的列（除了ID），我们想要的是宽格式，即每个文件提供不同的列。 另一种方法是：将每个DataFrame的索引设置为ID，然后重命名列（加上文件名前缀），然后使用`pd.concat(..., axis=1)`进行横向拼接。这样，相同的ID会自动对齐在同一行。 步骤： 1. 获取所有CSV文件的路径。 2. 创建一个空的列表来存储处理后的DataFrame。 3. 遍历每个CSV文件： a. 读取CSV文件为DataFrame（df）。 b. 提取文件名（不带扩展名）作为前缀。 c. 将df的ID列设置为索引（这样在concat的时候就会按照索引对齐）。 d. 将df的列名（除了ID列）改为“前缀_原列名”。 e. 将df加入列表。 4. 使用`pd.concat`将所有DataFrame沿着列方向（axis=1）拼接起来。 5. 重置索引（这样ID就变回列）。 注意：如果不同文件中有相同的列名（即使加了前缀也不同的情况不会重复），所以不用担心。但要注意，如果同一个文件内有重复列名，则需要先处理。 但是，如果某个ID在某个文件中不存在，那么拼接后该ID对应的这个文件的所有列都会是NaN。这符合宽格式的预期。 代码示例： 假设我们有三个文件：file1.csv, file2.csv, file3.csv，每个文件都有ID列和其他列。 步骤： 1. 获取文件列表。 2. 循环读取每个文件，并处理。 注意：我们假设所有文件都有相同的ID列名，比如都叫'ID'。如果不同，则需要指定一个共同的列名。 如果ID列名不同，我们需要在读取时统一，或者分别指定。这里我们假设相同，都是'ID'。 代码实现： ```python import pandas as pd import os # 假设文件路径列表 file_paths = ['file1.csv', 'file2.csv', 'file3.csv'] # 替换为实际文件路径 dfs = [] # 用于存储处理后的DataFrame for file_path in file_paths: # 读取CSV df = pd.read_csv(file_path) # 获取文件名（不带扩展名） file_name = os.path.splitext(os.path.basename(file_path))[0] # 将ID列设为索引 df.set_index('ID', inplace=True) # 重命名列：加上文件名前缀 df = df.add_prefix(f'{file_name}_') dfs.append(df) # 沿着列方向拼接 result = pd.concat(dfs, axis=1) # 重置索引，将ID变回列 result.reset_index(inplace=True) # 现在result就是合并后的宽格式表格 ``` 但是，如果不同的文件中ID列的名称不同，我们可以这样处理：在读取每个文件时，将ID列重命名为统一的列名（比如'ID'），然后再设置为索引。 另外，如果文件很大，我们可以考虑使用更高效的方式，比如逐个合并（使用merge）而不是一次性concat。但是concat在索引对齐时效率较高，而且代码简洁。 注意：concat会按照索引（即ID）进行对齐，所以如果某个ID在某个文件中不存在，那么该ID对应的那个文件的所有列都会是NaN。 如果文件数量很多，且ID集合很大，concat可能会产生一个很大的矩阵，但这是宽格式合并的常规做法。 另外，如果同一个ID在同一个文件中出现多次，那么设置索引时会出错（因为索引不唯一），所以我们需要确保每个文件内ID唯一。如果不唯一，我们需要先进行聚合（比如取平均值、求和等）或者去重（根据需求）。这里我们假设每个文件内ID唯一。 如果实际情况中ID不唯一，那么我们需要先对每个文件按ID进行聚合，然后再进行合并。聚合的方式需要根据具体数据决定。 因此，我们可以先检查每个文件的ID列是否有重复，如果有，则进行聚合操作（例如取均值）： 修改代码，在设置索引前检查重复： ```python for file_path in file_paths: df = pd.read_csv(file_path) file_name = os.path.splitext(os.path.basename(file_path))[0] # 检查重复ID if df['ID'].duplicated().any(): # 这里我们假设需要聚合，例如取平均值（数值列）或第一个值（非数值列）？具体根据需求 # 但这里我们简单处理：取每个ID分组后的平均值（注意：非数值列可能无法平均，需要根据情况调整） df = df.groupby('ID').mean().reset_index() # 然后设置索引 df.set_index('ID', inplace=True) df = df.add_prefix(f'{file_name}_') dfs.append(df) ``` 但是，聚合方式需要根据具体数据来定。如果数据不是数值型，可能不能直接取平均。所以更通用的做法是，如果出现重复，我们采用去重（保留第一个或最后一个）？或者根据业务需求进行聚合。这里我们无法一概而论。 因此，在数据清洗阶段，确保每个文件内ID唯一是必要的。 最后，将结果保存为新的CSV文件： ```python result.to_csv('merged_data.csv', index=False) ``` 这样，我们就完成了多个CSV文件按照ID合并成宽格式表格的任务，且列名使用了文件名作为前缀。 注意：如果不同的文件中有相同的列名（原始列名），那么加上文件名前缀后就不会冲突了。 示例： 文件1：file1.csv ID, A, B 1, 10, 20 2, 30, 40 文件2：file2.csv ID, C, D 1, 50, 60 2, 70, 80 合并后： ID, file1_A, file1_B, file2_C, file2_D 1, 10, 20, 50, 60 2, 30, 40, 70, 80 如果文件2中还有一个列名A，那么合并后就会变成file2_A，不会与file1_A冲突。 因此，这种方法可以避免列名冲突。 但是，如果文件非常多，合并后的列数会非常多，需要注意内存。 另外，如果文件数量很大（比如上千个），一次性concat可能会比较慢，可以考虑分批次合并。但一般情况下，文件数量不是特别多，所以直接concat是可行的。 如果内存有限，可以使用迭代合并（使用merge）： result = None for ...: 读取文件并重命名列（不设置索引） 如果result为空，则赋值 否则，result = pd.merge(result, 当前df, on='ID', how='outer') 这样也可以，但是merge是逐个合并，当文件数量多时，效率可能较低（因为每次merge都是两个两个合并，时间复杂度较高）。 所以，在文件数量不多的情况下，推荐使用concat方法。 现在，我们根据上述思路提供代码。</think>以下是用 Python Pandas 合并多个 CSV 文件的方法，使用文件名作为列名前缀： ### 解决方案 ```python import pandas as pd import os # 1. 定义文件路径列表 csv_files = ['data1.csv', 'data2.csv', 'data3.csv'] # 替换为实际文件路径 # 2. 创建基础DataFrame merged_df = pd.DataFrame() # 3. 遍历并合并文件 for file in csv_files: # 读取CSV df = pd.read_csv(file) # 提取文件名前缀（不带扩展名） prefix = os.path.splitext(os.path.basename(file))[0] # 重命名非ID列（添加文件名前缀） df = df.rename(columns=lambda col: f"{prefix}_{col}" if col != 'ID' else col) # 合并到主表 if merged_df.empty: merged_df = df else: merged_df = pd.merge(merged_df, df, on='ID', how='outer') # 4. 保存结果（可选） merged_df.to_csv('merged_result.csv', index=False) ``` ### 关键步骤说明 1. **文件处理**： - 使用 `os.path.basename()` 获取文件名 - `os.path.splitext()[0]` 移除扩展名 - 示例：`sales_Q1.csv` → 前缀 `sales_Q1` 2. **列重命名**： - 保留 `ID` 列不变 - 其他列添加文件名前缀：`lambda col: f"{prefix}_{col}" if col != 'ID' else col` - 示例：`Revenue` 列 → `sales_Q1_Revenue` 3. **合并逻辑**： - 首次循环直接作为基础表 - 后续使用 `pd.merge(..., on='ID', how='outer')` 确保保留所有ID - 外连接(`outer`)处理不同文件中的ID差异 4. **输出效果**： ``` ID | sales_Q1_Revenue | sales_Q1_Profit | marketing_Clicks | ... ------|-------------------|-----------------|------------------|----- 1001 | 15000 | 3000 | 1200 | ... 1002 | 22000 | 4500 | NaN | ... ``` ### 注意事项 1. **ID列名称**： - 确保所有CSV的ID列名**完全一致**（默认均为`'ID'`） - 若不一致，需先统一列名：`df = df.rename(columns={'old_id':'ID'})` 2. **缺失值处理**： - 使用`how='outer'`保留所有ID - 缺失值自动填充`NaN` - 可用`fillna(0)`替换为0：`merged_df.fillna(0, inplace=True)` 3. **大数据优化**： ```python # 分块处理大文件 chunks = pd.read_csv(large_file, chunksize=10000) for chunk in chunks: chunk = chunk.rename(columns=...) merged_df = pd.merge(merged_df, chunk, on='ID', how='outer') ``` ### 示例文件结构 **data1.csv**: ``` ID,Revenue,Profit 1001,15000,3000 1003,18000,3500 ``` **data2.csv**: ``` ID,Clicks,Conversions 1001,1200,80 1002,900,60 ``` **合并结果**: ``` ID | data1_Revenue | data1_Profit | data2_Clicks | data2_Conversions ------|----------------|--------------|--------------|------------------- 1001 | 15000 | 3000 | 1200 | 80 1002 | NaN | NaN | 900 | 60 1003 | 18000 | 3500 | NaN | NaN ```