使用学习过的理论知识（Numpy数值分析基础、Matplotlib数据可视化基础、Pandas统计分析基础），对data.csv用户用户用电量数据进行相关处理，其中数据中有编号为1-200的200位电力用户，DATA_DATE表示时间，如2015/1/1表示2015年1月1日，KWH为用电量。请完成以下工作：1、将数据进行转置，转置后行为用户编号、列为日期、值为用户每日用电量。2、对数据中的异常数据进行识别并处理。3、统计每个用户用电数据的基本统计量，包括：最大值、最小值、均值、中位数、和、方差、偏度、峰度。4、每个用户用电数据按日差分，并求取差分结果的基本统计量，统计量同3。5、求取每个用户的5%分位数。6、每个用户按周求和并差分（一周7天，年度分开），并求取差分结果的基本统计量，统计量同三。7、统计每个用户的日用电量在其最大值0.9倍以上的次数。8、求取每个用户日为最大值/最小值的索引月份，若最大值/最小值存在于多个月份中，则输出含有最大值/最小值最多的那个月份。如1号用户的最小值为0，则看哪个月的0最多。9、求取每个用户七八月电量和与三四月电量和的比值，最大值的比值，最小值的比值，均值（日均电量）的比值。10、合并上述特征。

1、将数据进行转置，转置后行为用户编号、列为日期、值为用户每日用电量。 ```python import pandas as pd # 读取数据 df = pd.read_csv('data.csv') # 转换日期格式 df['DATA_DATE'] = pd.to_datetime(df['DATA_DATE']) # 转置数据 df_pivot = df.pivot(index='ID', columns='DATA_DATE', values='KWH') ``` 2、对数据中的异常数据进行识别并处理。 ```python import numpy as np # 计算每个用户每天用电量的标准差 std = df_pivot.std(axis=1) # 计算每个用户每天用电量的平均值 mean = df_pivot.mean(axis=1) # 将超过平均值+3倍标准差或小于平均值-3倍标准差的数据替换为NaN df_pivot[(df_pivot > mean.values[:, np.newaxis] + 3 * std.values[:, np.newaxis]) | (df_pivot < mean.values[:, np.newaxis] - 3 * std.values[:, np.newaxis])] = np.nan ``` 3、统计每个用户用电数据的基本统计量，包括：最大值、最小值、均值、中位数、和、方差、偏度、峰度。 ```python from scipy.stats import skew, kurtosis # 统计每个用户用电数据的基本统计量 statistics = pd.DataFrame({ 'max': df_pivot.max(), 'min': df_pivot.min(), 'mean': df_pivot.mean(), 'median': df_pivot.median(), 'sum': df_pivot.sum(), 'var': df_pivot.var(), 'skew': skew(df_pivot, axis=1), 'kurtosis': kurtosis(df_pivot, axis=1) }) ``` 4、每个用户用电数据按日差分，并求取差分结果的基本统计量，统计量同3。 ```python # 按日差分 df_diff = df_pivot.diff(axis=1) # 删除第一列的NaN值 df_diff = df_diff.iloc[:, 1:] # 统计每个用户用电数据按日差分后的基本统计量 diff_statistics = pd.DataFrame({ 'max': df_diff.max(), 'min': df_diff.min(), 'mean': df_diff.mean(), 'median': df_diff.median(), 'sum': df_diff.sum(), 'var': df_diff.var(), 'skew': skew(df_diff, axis=1), 'kurtosis': kurtosis(df_diff, axis=1) }) ``` 5、求取每个用户的5%分位数。 ```python # 求取每个用户的5%分位数 quantile_5 = df_pivot.quantile(q=0.05, axis=1) ``` 6、每个用户按周求和并差分（一周7天，年度分开），并求取差分结果的基本统计量，统计量同3。 ```python # 按周求和 df_weekly = df_pivot.resample('W', axis=1).sum() # 按年度分开 df_weekly = df_weekly.groupby(df_weekly.columns.year, axis=1) # 差分 df_weekly_diff = df_weekly.diff(axis=1) # 删除第一列的NaN值 df_weekly_diff = df_weekly_diff.iloc[:, 1:] # 统计每个用户用电数据按周差分后的基本统计量 weekly_diff_statistics = pd.DataFrame({ 'max': df_weekly_diff.max(), 'min': df_weekly_diff.min(), 'mean': df_weekly_diff.mean(), 'median': df_weekly_diff.median(), 'sum': df_weekly_diff.sum(), 'var': df_weekly_diff.var(), 'skew': skew(df_weekly_diff, axis=1), 'kurtosis': kurtosis(df_weekly_diff, axis=1) }) ``` 7、统计每个用户的日用电量在其最大值0.9倍以上的次数。 ```python # 统计每个用户的日用电量在其最大值0.9倍以上的次数 count = (df_pivot > df_pivot.max() * 0.9).sum() ``` 8、求取每个用户日为最大值/最小值的索引月份，若最大值/最小值存在于多个月份中，则输出含有最大值/最小值最多的那个月份。如1号用户的最小值为0，则看哪个月的0最多。 ```python # 求取每个用户日为最大值的索引月份 max_month = df_pivot.idxmax(axis=1).dt.month # 求取每个用户日为最小值的索引月份 min_month = df_pivot.idxmin(axis=1).dt.month # 统计每个用户日为最大值/最小值的索引月份中出现次数最多的月份 max_month_count = max_month.value_counts() min_month_count = min_month.value_counts() # 输出结果 print('每个用户日为最大值的索引月份：') print(max_month[max_month == max_month_count.idxmax()].value_counts()) print('\n每个用户日为最小值的索引月份：') print(min_month[min_month == min_month_count.idxmax()].value_counts()) ``` 9、求取每个用户七八月电量和与三四月电量和的比值，最大值的比值，最小值的比值，均值（日均电量）的比值。 ```python # 求取每个用户七八月电量和 summer_sum = df_pivot.loc[:, df_pivot.columns.month.isin([7, 8])].sum(axis=1) # 求取每个用户三四月电量和 spring_sum = df_pivot.loc[:, df_pivot.columns.month.isin([3, 4])].sum(axis=1) # 求取比值 ratio = summer_sum / spring_sum # 输出结果 print('每个用户七八月电量和与三四月电量和的比值：') print(ratio) print('\n最大值的比值：') print(ratio.max()) print('\n最小值的比值：') print(ratio.min()) print('\n均值的比值：') print(ratio.mean()) ``` 10、合并上述特征。 ```python # 合并特征 features = pd.concat([ statistics, diff_statistics, pd.DataFrame({'quantile_5': quantile_5}), weekly_diff_statistics, pd.DataFrame({'count': count}), pd.DataFrame({'max_month': max_month, 'min_month': min_month}), pd.DataFrame({'ratio': ratio}) ], axis=1) ```