pandas如何去重

在Pandas中，可以使用`drop_duplicates()`函数来去除DataFrame中的重复行。具体用法如下： ```python df.drop_duplicates() ``` 该函数默认会将所有列的值都进行比较，若所有列的值都相同，则认为这两行是重复的。如果只想对指定的列进行去重，可以使用`subset`参数： ```python df.drop_duplicates(subset=['col1', 'col2']) ``` 其中`col1`和`col2`是需要进行去重的列名。如果想要保留重复行中的第一行或最后一行，可以使用`keep`参数，取值可以是`'first'`或`'last'`： ```python df.drop_duplicates(subset=['col1', 'col2'], keep='first') ``` 这样就可以保留重复行中的第一行，而其它重复行将会被删除。如果想要直接在原DataFrame上进行修改，可以使用`inplace`参数： ```python df.drop_duplicates(subset=['col1', 'col2'], keep='first', inplace=True) ``` 这样就可以直接在原DataFrame上进行修改，而不需要重新赋值。

### 使用 Pandas 进行数据去重 Pandas 的 `drop_duplicates()` 方法是一个强大的工具，可以用来删除数据框中的重复行。以下是关于该方法的具体介绍以及一些常见用法。 #### 基础语法 `DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)` 此函数的主要参数解释如下： - **subset**: 指定要检查的列名列表，默认为 None 表示基于所有列来查找重复项[^1]。 - **keep**: 控制如何标记重复项： - `'first'`: 保留第一次出现的数据并移除后续重复项（默认行为）。 - `'last'`: 仅保留最后一次出现的数据并移除前面的重复项。 - `False`: 删除所有的重复项，不保留任何一项。 - **inplace**: 如果设置为 True，则直接修改原始数据框；如果为 False，则返回一个新的数据框。 - **ignore_index**: 是否忽略原有索引而创建新的整数型索引。如果设为 True，则新生成的数据框会有连续的整数索引[^2]。 #### 示例代码 下面通过几个例子展示不同场景下的应用方式。 ##### 示例 1: 移除完全相同的行 当未指定 subset 参数时，表示依据全部列判断是否有重复记录。 ```python import pandas as pd data = {'A': [1, 3, 3, 3], 'B': [0, 1, 2, 0], 'C': [4, 5, 4, 4]} df = pd.DataFrame(data) # 默认情况下，只保留每组的第一条记录 result_df = df.drop_duplicates() print(result_df) ``` ##### 示例 2: 针对某些字段进行筛选 有时我们只需要考虑部分列是否存在重复情况。 ```python # 只看'B'这一栏位是否相同 filtered_by_B = df.drop_duplicates(subset=['B']) print(filtered_by_B) ``` ##### 示例 3: 不保存任一副本 如果我们希望彻底清除掉那些有冗余现象的部分而不留下痕迹的话，可将 keep 设置成 false 来达成目的。 ```python no_repeats_at_all = df.drop_duplicates(subset=['B'], keep=False) print(no_repeats_at_all) ``` ##### 示例 4: 同时调整索引顺序 执行完删减动作后，原有的 index 编号可能变得混乱无序。此时可以通过调用 reset_index 方法解决这个问题。 ```python resetted_indices = no_repeats_at_all.reset_index(drop=True) print(resetted_indices) ``` #### 特殊技巧——提取纯正的重复单元格集合 有时候除了单纯剔除外，还希望能够单独获取到哪些项目属于多次出现的情况。这里给出一种实现方案。 ```python # 获取唯一重复值 unique_dups = ( df[df.duplicated('A', keep=False)] .append(df.drop_duplicates('A', keep='first')) .drop_duplicates('A', keep=False)) print(unique_dups) ```