dataframe 去重 根据index

### Pandas DataFrame 去重后按列加总的实现方法 在数据处理过程中，通常需要先对 `DataFrame` 进行去重操作，然后再按照某些条件或分组来汇总特定列的值。以下是具体的操作方式： #### 1. 数据准备 假设有一个如下所示的数据集： ```python import pandas as pd data = { "id": [1, 2, 3, 1, 2], "value": [10, 20, 30, 40, 50], "category": ["A", "B", "C", "A", "B"] } df = pd.DataFrame(data) print(df) ``` 输出结果为： ``` id value category 0 1 10 A 1 2 20 B 2 3 30 C 3 1 40 A 4 2 50 B ``` --- #### 2. 去重操作 可以使用 `drop_duplicates()` 方法去除重复项，默认情况下会基于所有列进行判断是否有重复。 如果仅希望根据某几列（如 `id` 和 `category`）来进行去重，则可以通过设置参数 `subset` 来指定这些列： ```python df_unique = df.drop_duplicates(subset=["id", "category"]) print(df_unique) ``` 输出结果为： ``` id value category 0 1 10 A 1 2 20 B 2 3 30 C ``` 此步骤已经完成了基于部分列的去重[^1]。 --- #### 3. 汇总特定列的值 为了进一步计算某个列（如 `value`）的总计数或者按其他维度聚合，可以使用 `groupby()` 配合 `sum()` 函数完成。 ##### （1）全局汇总 如果不考虑任何分组，可以直接对整个 `DataFrame` 中的目标列求和： ```python total_value = df_unique["value"].sum() print(total_value) ``` 输出结果为： ``` 60 ``` 此处是对去重后的 `value` 列进行了简单相加[^2]。 ##### （2）按某一列分组后再汇总 当需要按另一列（如 `category` 或者 `id`）进行分组并分别统计每组内的合计时，可采用以下代码： ```python summary_by_category = df_unique.groupby("category")["value"].sum().reset_index(name="total_value") print(summary_by_category) ``` 输出结果为： ``` category total_value 0 A 10 1 B 20 2 C 30 ``` 这里通过 `groupby()` 实现了按类别分类，并利用 `sum()` 对应数值累加的功能[^4]。 --- #### 完整代码示例 综合以上两步逻辑，完整的解决方案如下： ```python import pandas as pd # 初始化原始数据框 data = { "id": [1, 2, 3, 1, 2], "value": [10, 20, 30, 40, 50], "category": ["A", "B", "C", "A", "B"] } df = pd.DataFrame(data) # 步骤一：去掉重复记录 (依据'id'与'category') df_unique = df.drop_duplicates(subset=["id", "category"]) # 步骤二：针对'value'字段做整体求和 total_sum = df_unique['value'].sum() # 步骤三：按'category'分组并对'value'求和 result_df = df_unique.groupby('category')['value'] \ .sum() \ .reset_index(name='Total Value') print(f"Total Sum of Unique Values: {total_sum}") print(result_df) ``` 最终打印的结果将是： ``` Total Sum of Unique Values: 60 category Total Value 0 A 10 1 B 20 2 C 30 ``` ---

您可以使用pandas库来对DataFrame进行分组去重统计，具体可以按照以下步骤进行： 1. 使用groupby()方法对需要分组的列进行分组，例如： ``` grouped = df.groupby('column_name') ``` 2. 对分组后的数据使用agg()方法进行聚合操作，例如： ``` result = grouped.agg({'column_name_1': 'count', 'column_name_2': 'nunique'}) ``` 上面的代码中，我们对两个列进行了聚合操作，其中'column_name_1'列使用了count()函数进行计数，'column_name_2'列使用了nunique()函数去重统计。 3. 最后，您可以使用reset_index()方法将分组后的结果转换为一个新的DataFrame，并且重置索引，例如： ``` result = result.reset_index() ``` 这样，您就可以得到一个按照指定列分组后，对其他列进行去重统计的结果。