import pandas as pd import numpy as np # 数据合并 train_df1 = pd.read_csv('station00.csv') train_df2 = pd.read_csv('station01.csv') train_df3 = pd.read_csv('station02.csv') combined_df = pd.concat([train_df1, train_df2, train_df3], ignore_index=True) combined_df.to_csv('combined_data.csv', index=False) # 读取数据并设置时间索引 df = pd.read_csv( "combined_data.csv", parse_dates=["date_time"], index_col="date_time" # 关键步骤：指定时间索引 ) # 标记白天时段（6:00至18:00） day_mask = (df.index.hour >= 6) & (df.index.hour < 18) # 替换白天合理零值为 NaN（白天辐照度和功率为0视为异常） df.loc[day_mask, ["nwp_globalirrad", "nwp_directirrad", "power"]] = ( df.loc[day_mask, ["nwp_globalirrad", "nwp_directirrad", "power"]] .replace(0.0, np.nan) ) # 删除关键字段缺失的行 df.dropna(subset=["lmd_totalirrad", "power"], inplace=True) # 确保 power 列为浮点型 df["power"] = df["power"].astype(float) # 时间插值（此时索引已为 DatetimeIndex） df["power"] = df["power"].interpolate(method="time") # 标记夜间时段 night_mask = (df.index.hour < 6) | (df.index.hour >= 18) # 替换夜间合理零值为 NaN df.loc[night_mask, ["nwp_globalirrad", "nwp_directirrad", "power"]] = ( df.loc[night_mask, ["nwp_globalirrad", "nwp_directirrad", "power"]] .replace(0.0, np.nan) ) # 删除关键字段缺失的行 df.dropna(subset=["lmd_totalirrad", "power"], inplace=True) # 确保 power 列为浮点型 df["power"] = df["power"].astype(float) # 时间插值（此时索引已为 DatetimeIndex） df["power"] = df["power"].interpolate(method="time") # 保存处理后的数据 df.to_csv("processed_data.csv") #验证输出 # 检查索引类型和插值结果 print(df.index) print(df["power"].isna().sum())

<think>好的，我现在需要帮用户解决使用pandas进行多个CSV文件数据预处理的问题。首先，用户的需求很明确，包括合并文件、设置时间索引、标记时间段、替换异常值、删除缺失值、确保数据类型正确、时间插值以及保存结果。我需要一步步梳理每个步骤的实现方法，并确保引用合适的参考资料。 首先，合并多个CSV文件。根据引用[2]中的例子，用户之前合并数据时使用了concat方法，并且保留了原始的行号。这里可能需要用glob模块获取所有CSV文件，然后逐个读取并合并。需要注意的是，concat的参数是否正确，比如是否要忽略索引，或者在合并后重置索引。 接下来是设置时间索引。用户可能希望将某一列转换为datetime类型，并设为索引。这涉及到pd.to_datetime函数和set_index方法。需要确保时间列的格式正确，否则可能会出错。 标记白天和夜间时段。这部分需要根据时间索引的小时信息来判断，比如7点到19点为白天，其他时间为夜间。可以用apply函数或者矢量化操作生成新列。 替换异常零值为NaN。用户提到替换异常零值，可能需要将特定列中的0替换为NaN。这里可以用replace方法，或者使用条件替换，比如df[col] = df[col].replace(0, np.nan)。 删除关键字段缺失的行。用户可能需要删除某些关键列中存在缺失值的行，可以用dropna的subset参数指定这些列。 确保数据类型为浮点型。可能需要检查各列的数据类型，并用astype转换，或者是在读取数据时指定dtype参数。不过，如果数据中有非数值内容，转换可能会出错，需要处理异常。 执行时间插值。时间序列插值可以用interpolate方法，并指定method='time'，这样会根据时间间隔进行插值。 保存处理后的数据。使用to_csv方法，注意设置index=False以避免保存索引，除非需要保留。 在整合这些步骤时，需要考虑代码的顺序，比如合并后再设置时间索引，这样可能在合并后的数据上统一处理时间。同时，异常值替换和缺失值处理的顺序可能会影响结果，比如先替换异常值为NaN，再删除缺失值，或者反之。 另外，引用[1]提到Pandas在数据清洗和预处理中的功能，包括处理缺失值、重复值，转换数据类型等，这些都需要在步骤中体现。引用[3]中的代码示例展示了如何读取txt文件，并指定分隔符、列名等，这可能对读取CSV文件也有参考价值，比如处理不同的分隔符或没有表头的情况。 可能需要考虑的问题包括：文件路径的处理，确保glob能正确找到所有CSV文件；合并时是否需要添加来源标识，如引用[2]中的索引列；时间解析是否正确，特别是不同文件中的时间格式是否一致；异常值的定义是否仅限于0，或者其他范围；插值方法的选择是否符合时间序列的特点等。 在代码编写中，可能需要逐步测试每个步骤，比如先合并文件，检查合并后的数据结构是否正确；再处理时间索引，确保转换无误。同时，处理异常值时，可能需要统计替换的数量，或者进行可视化确认。数据类型转换时，需确保所有数据都能正确转换为浮点型，否则需要处理错误或非数值数据。 最后，保存数据时要确认路径的可写性，以及文件格式是否正确。用户可能需要进一步的分析，因此保存中间结果或日志可能有帮助。</think>以下是使用pandas进行多CSV文件数据预处理的完整解决方案： ### 一、文件合并 ```python import pandas as pd import glob # 读取所有CSV文件 file_list = glob.glob('path/to/csv/*.csv') dfs = [] for file in file_list: df = pd.read_csv(file, parse_dates=['timestamp']) # 假设时间列名为timestamp dfs.append(df) # 纵向合并并添加来源标识 merged_df = pd.concat(dfs, keys=range(len(file_list)), names=['source_file', 'orig_index']) ``` 合并时使用`keys`参数添加来源标识[^2] ### 二、时间索引处理 ```python merged_df = merged_df.set_index('timestamp').sort_index() ``` ### 三、时段标记 ```python merged_df['period'] = merged_df.index.hour.apply( lambda x: 'day' if 7 <= x < 19 else 'night' ) ``` ### 四、异常值处理 ```python # 将0值替换为NaN（假设数值列为value） merged_df['value'] = merged_df['value'].replace(0, pd.NA) ``` ### 五、缺失值处理 ```python merged_df = merged_df.dropna(subset=['key_column1', 'key_column2']) ``` ### 六、数据类型转换 ```python for col in ['temp', 'humidity']: # 示例字段 merged_df[col] = pd.to_numeric(merged_df[col], errors='coerce').astype('float64') ``` ### 七、时间插值 ```python merged_df = merged_df.resample('1H').asfreq() # 按小时重采样 merged_df = merged_df.interpolate(method='time') ``` ### 八、结果保存 ```python merged_df.to_csv('processed_data.csv', index=True) # 保留时间索引[^1] ```