Python-使用Python3和scipy作为Jupyter笔记本进行层次聚类练习

在本实践教程中，我们将深入探讨如何利用Python 3和scipy库在Jupyter Notebook环境中进行层次聚类（Hierarchical Clustering）。层次聚类是一种无监督学习方法，它通过构建一个树状结构来组织数据，这个结构展示了数据点之间的相似性关系。这种技术在数据挖掘、生物学、社会网络分析等领域广泛应用。 确保你已经安装了必要的Python库，包括`numpy`、`scipy`、`pandas`和`matplotlib`。你可以使用以下命令安装： ```bash pip install numpy scipy pandas matplotlib ``` 接下来，我们需要导入这些库并加载数据。通常，层次聚类适用于高维数据，例如文本数据、基因表达数据等。在这个例子中，我们假设你已经有了一个数据集，可以使用`pandas`的`read_csv`或`read_excel`函数来读取数据。 ```python import pandas as pd import numpy as np from scipy.cluster.hierarchy import dendrogram, linkage from matplotlib import pyplot as plt # 加载数据 data = pd.read_csv('your_dataset.csv') ``` 数据预处理是关键步骤，包括标准化、编码分类变量等。层次聚类对距离敏感，因此确保所有特征在同一尺度上很重要。可以使用`StandardScaler`进行标准化： ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() scaled_data = scaler.fit_transform(data) ``` 接下来，我们将使用scipy的`linkage`函数进行层次聚类。`linkage`接受一个二维数组，并返回一个包含聚类信息的链接矩阵。常见的距离度量有欧几里得距离（'euclidean'）和曼哈顿距离（'manhattan'），连接方法包括单链接（'single'）、全链接（'complete'）和平均链接（'average'）： ```python from scipy.cluster.hierarchy import linkage # 使用平均链接和欧几里得距离 Z = linkage(scaled_data, method='average', metric='euclidean') ``` 然后，我们可以用`dendrogram`函数绘制层次聚类树状图，帮助我们可视化聚类结果： ```python plt.figure(figsize=(10, 5)) dendrogram(Z, labels=data.index) plt.title('Hierarchical Clustering Dendrogram') plt.xlabel(' Samples ') plt.ylabel(' Distance ') plt.show() ``` 为了确定最佳的聚类数量，我们可以通过观察dendrogram的垂直切割位置。此外，还可以使用肘部法则、轮廓系数等方法评估不同聚类数的合理性。 一旦确定了聚类数，我们可以使用`fcluster`函数将数据点分配到特定的簇： ```python from scipy.cluster.hierarchy import fcluster # 假设我们选择4个簇 clusters = fcluster(Z, 4, criterion='maxclust') # 将聚类结果添加回原始数据 data['Cluster'] = clusters ``` 你可以分析每个簇的特性，找出数据的模式和规律。例如，计算各簇的均值、标准差，或者绘制箱线图等。 这个教程介绍了如何在Jupyter Notebook中使用Python 3和scipy进行层次聚类。通过加载数据、预处理、执行聚类、可视化结果以及分析聚类特性，你可以深入了解数据的内在结构。记住，理解数据和选择合适的参数对于获得有价值的聚类结果至关重要。