数据处理与建模：PowerQuery与PowerPivot的应用

# 数据处理与建模：Power Query与Power Pivot的应用 ## 1. Power Query基础操作与设置 Power Query是一款强大的数据转换工具，其界面包含多个重要组件： - **查询设置**：可对查询进行重命名，并选择快速数据加载选项。 - **应用步骤**：能记录数据转换过程中的所有步骤，按时间顺序列出，方便按需修改M代码。 - **状态栏**：显示查询的信息或状态，可用于展示查询中的所有项目，也可限制显示部分记录，同时显示处理状态以及查询的列数和行数。 ## 2. 确保数据类型正确 在创建查询时，确保每列的数据类型正确是数据转换过程中至关重要的一步。每列左上角有一个图标，可用于更改数据类型，常见的数据类型包括文本、数字、日期等。 ### 2.1 修改数据类型示例 例如，在一个查询中，除了“Birthdate”列外，其他数据类型都已正确应用。“Birthdate”列的正确格式应为日期，操作步骤如下： 1. 选择该列的格式图标。 2. 从列表中选择“Date”。 3. 会弹出一个对话框，可选择替换“应用步骤”设置中的当前步骤，或添加此步骤作为新步骤。若当前步骤已执行，如“Changed Type”操作已将内容格式化为数字，可选择“Replace Current”完成转换。 ### 2.2 去除列内容的前导空格 在“Bank Details”列中，部分银行名称存在前导空格，可通过以下操作去除： 1. 右键单击该列。 2. 在弹出的菜单中，选择“Transform” - “Trim”，即可去除所有前导空格。 ### 2.3 引入新查询与处理 引入新查询时，可通过“Home” - “New Source” - “File” - “Excel Workbook”选择文件夹中的下一个文件，如“Location Data”。若发现新查询中标题行被当作第一行内容处理，可通过“Home”选项卡选择“Use First Row as Headers”来解决。 ### 2.4 替换列中的空值 在“Product data”中，为确保“returnable list”列的完整性，需将空值替换为0，操作步骤如下： 1. 选择“returnable list”列，右键单击并选择“Replace Values...”。 2. 在对话框中，将“Value to Find”设置为“null”，“Replace with”设置为“0”，该列将填充为一系列1和0。还可通过“View”选项卡下的“Column quality”查看每列内容的有效性。 通过以上操作，我们掌握了以下几种数据转换方法： - 格式化数据类型 - 去除前导空格 - 使用第一行作为标题 - 替换值 ## 3. Add Column与Transform的区别 为更好地理解“Add Column”和“Transform”选项卡执行任务的区别，以合并客户姓名的两列为例。 ### 3.1 使用Add Column合并列 步骤如下： 1. 转到“Add Column”选项卡。 2. 选择“First Name”和“Last Name”两列。 3. 点击“Add Column”选项卡中的“Merge Columns”。 4. 在弹出的对话框中，选择分隔符为“Space”，新列名称为“Full Name”。点击“OK”后，会在查询末尾插入一个名为“Full Name”的新列，原“First Name”和“Last Name”列保持不变。 ### 3.2 使用Transform合并列 步骤如下： 1. 选择“First Name”和“Last Name”两列。 2. 右键单击这两列，选择“Merge Columns”。 3. 在对话框中，选择分隔符为“Space”，新列名称为“Full Name”。操作完成后，合并后的新列将替换原有的两列。 总结来说，“Transform”会在步骤执行后用结果覆盖所选列的内容，而“Add Column”会将结果作为新列添加。 ## 4. Power Query中合并和追加数据 在Power Query中，合并和追加是两种主要的数据组合方法： - **追加（Appending）**：用于添加更多行，通常适用于要组合的表具有相同列的情况。 - **合并（Merging）**：用于为现有查询添加额外列，通常适用于两个表至少有一个公共列的情况。 ### 4