Python数据分析实战指南：从数据预处理到模型构建

 # 1. Python数据分析基础 Python数据分析是利用Python编程语言对数据进行处理、分析和可视化的过程。它涉及到一系列技术和工具，包括数据预处理、数据探索、数据可视化、机器学习模型构建和模型评估。 本章将介绍Python数据分析的基础知识，包括数据结构、数据类型、数据操作和函数等基本概念。这些基础知识对于理解后续章节中更高级的数据分析技术至关重要。 # 2. 数据预处理 ### 2.1 数据获取和加载 #### 2.1.1 数据源介绍 数据获取是数据分析的第一步，它涉及从各种来源收集数据。常见的数据源包括： - **关系型数据库（RDBMS）：** 如 MySQL、PostgreSQL、Oracle 等，存储结构化数据。 - **非关系型数据库（NoSQL）：** 如 MongoDB、Cassandra 等，存储非结构化或半结构化数据。 - **文件系统：** 如 CSV、JSON、Excel 等，存储数据在文件或目录中。 - **API：** 应用程序编程接口，允许从外部系统获取数据。 - **网络抓取：** 从网站或其他网络资源提取数据。 #### 2.1.2 数据加载方法 在获取数据后，需要将其加载到 Python 环境中。常用的数据加载方法包括： - **Pandas read_csv()：** 从 CSV 文件加载数据。 - **Pandas read_excel()：** 从 Excel 文件加载数据。 - **Pandas read_json()：** 从 JSON 文件加载数据。 - **SQLAlchemy：** 用于从关系型数据库加载数据。 - **PyMongo：** 用于从 MongoDB 加载数据。 ```python import pandas as pd # 从 CSV 文件加载数据 df = pd.read_csv('data.csv') # 从 Excel 文件加载数据 df = pd.read_excel('data.xlsx') # 从 JSON 文件加载数据 df = pd.read_json('data.json') ``` ### 2.2 数据清洗和转换 #### 2.2.1 数据缺失处理 数据缺失是数据分析中常见的问题。处理数据缺失的方法包括： - **删除缺失值：** 如果缺失值不重要或无法推断，可以将其删除。 - **填充缺失值：** 使用平均值、中位数、众数等统计值填充缺失值。 - **插补：** 使用线性插值、多项式插值等方法估计缺失值。 ```python # 删除缺失值 df = df.dropna() # 用平均值填充缺失值 df['age'].fillna(df['age'].mean(), inplace=True) ``` #### 2.2.2 数据类型转换 数据类型转换是将数据从一种类型转换为另一种类型。常见的转换类型包括： - **字符串到数字：** 使用 `pd.to_numeric()`。 - **数字到字符串：** 使用 `df.astype(str)`。 - **日期到时间戳：** 使用 `pd.to_datetime()`。 ```python # 将字符串列转换为数字 df['age'] = pd.to_numeric(df['age']) # 将数字列转换为字符串 df['name'] = df['name'].astype(str) # 将日期列转换为时间戳 df['date'] = pd.to_datetime(df['date']) ``` #### 2.2.3 数据标准化 数据标准化是将数据转换为具有相同范围或分布的过程。常见的标准化方法包括： - **最小-最大标准化：** 将数据缩放到 [0, 1] 范围内。 - **均值-标准差标准化：** 将数据减去均值并除以标准差。 ```python # 最小-最大标准化 df['age'] = (df['age'] - df['age'].min()) / (df['age'].max() - df['age'].min()) # 均值-标准差标准化 df['age'] = (df['age'] - df['age'].mean()) / df['age'].std() ``` # 3. 数据探索和可视化 ### 3.1 数据探索性分析 数据探索性分析（EDA）是数据分析过程中至关重要的一步，它有助于我们了解数据的分布、模式和潜在关系。EDA的主要目标是发现数据中的异常值、趋势和相关性，以便更好地制定假设并构建机器学习模型。 #### 3.1.1 数据分布分析 数据分布分析可以帮助我们了解数据的中心趋势、离散度和形状。常用的数据分布分析方法包括： - **直方图：**展示数据中不同值出现的频率。 - **箱线图：**展示数据的最小值、第一四分位数、中位数、第三四分位数和最大值。 - **散点图：**展示两个变量之间的关系。 ```python import matplotlib.pyplot as plt import pandas as pd # 加载数据 df = pd.read_csv('data.csv') # 绘制直方图 plt.hist(df['age']) plt.xlabel('年龄') plt.ylabel('频率') plt.title('年龄分布') plt.show() # 绘制箱线图 plt.boxplot(df['salary']) plt.xlabel('薪水') plt.title('薪水分布') plt.show() # 绘制散点图 plt.scatter(df['age'], df['salary']) plt.xlabel('年龄') plt.ylabel('薪水') plt.title('年龄与薪水关系') plt.show() ``` #### 3.1.2 数据相关性分析 数据相关性分析可以帮助我们了解两个或多个变量之间的关系强度和方向。常用的数据相关性分析