[Pandas Day4]变形

1.上面提到了许多变形函数，如melt/crosstab/pivot/pivot_table/stack/unstack函数，请总结它们各自的使用特点。 pivot函数是透视表，不过局限性比较大，除了功能上较少之外，还不允许values中出现重复的行列索引对 pivot_table是pivot函数的引申，允许出现行索引的重复，默认为求均值mean，与pivot相比，运行速度较慢 unstack函数是stack函数的逆操作，即解压，性质与stack函数类似 stack函数是最基本的变形函数，顾名思义就是压缩，总共只有两个参数：level和dropna，stack函数可以看做将横向的索引放到纵向， 在数据分析领域，Pandas库提供了丰富的数据变形工具，如melt、crosstab、pivot、pivot_table、stack和unstack函数，这些函数帮助用户根据需求调整数据结构，使其更适合分析和建模。以下是对这些函数的详细说明： 1. **melt函数**：melt用于将宽格式的数据帧（Wide Format）转换为长格式（Long Format）。它将列名作为变量（variable），列中的值作为值（value），并将剩余的列作为新的行索引。例如，如果你有一个数据帧，其中某些列包含分组信息，melt可以将这些列转化为行，使得数据更容易进行分组统计。 2. **crosstab函数**：crosstab创建交叉表，用于统计两组或多组分类变量的频数分布。它可以看作是统计特定列组合出现的次数，通常用于快速汇总数据，例如计算各组别的计数。 3. **pivot函数**：pivot是简单的透视表功能，它通过行索引、列索引和值三个要素重新组织数据。然而，pivot的局限性在于它不允许values中有重复的行列索引对。 4. **pivot_table函数**：pivot_table是pivot的扩展，允许行索引重复，并提供了更多的聚合函数，如mean、sum、max等。当数据中存在重复的行列索引对时，pivot_table能处理这种情况。与pivot相比，虽然运行速度可能较慢，但它提供了更灵活的数据汇总方式。 5. **stack函数**：stack是数据压缩操作，将数据帧的列转化为索引，通常是将一列或多列的数据添加到现有索引的下方，形成多级索引。stack函数有两个参数：level指定要堆叠的列级别，dropna决定是否删除含有缺失值的行。它是将数据从宽变窄的关键工具。 6. **unstack函数**：unstack是stack的逆操作，将多级索引的列展开回原来的列，将索引变为列，列变为索引。与stack类似，unstack可以指定level来控制展开的级别。 变形函数和多级索引紧密相关。stack和unstack操作会改变数据帧的索引维数，stack会增加索引维度，而unstack会减少。melt通常不会直接影响索引维数，但可以通过指定id_vars参数来控制是否保留原有索引。 举例来说，当你有一个数据帧，其中包含地区、药物名称和多个年份的销售量，你可以使用pivot_table将年份作为列，地区和药物名称作为行，得到一个按年份统计的销售数据。然后，你可能想将年份从列转回行，这时可以使用unstack，但要注意，由于pivot_table可能对年份进行了聚合，unstack后的结果可能与原始数据不完全一致。 哑变量（dummy variable）在统计和机器学习中扮演着重要角色。对于无序分类变量，如血型，需要转化为哑变量，避免数字顺序产生的误导。对于有序分类变量，如疾病的严重程度，也需要转化，以保持分类的平等性。对于连续性变量，如年龄，可以基于临床意义进行离散化，并转化为哑变量，以便更好地解释模型中的效应。 Pandas的变形函数是数据预处理的重要工具，它们允许数据分析师根据实际问题调整数据结构，为后续的统计分析和建模提供便利。理解并熟练运用这些函数，能够显著提升数据分析的效率和准确性。