# -*- coding:utf-8 -*- """ 作者: 惊蛰 日期: 2023年06月05日 """ from gensim.models import word2vec from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score import matplotlib.pyplot as plt save_model_name = '训练集.model' # 加载已训练好的模型 model_1 = word2vec.Word2Vec.load(save_model_name) # 获取指定关键词的词向量 f = open(r"count.txt", encoding = 'utf-8') # 之前提取的150个高频词 line = f.readline() keys = [] # 关键字数组 while line: keys.append(line.strip('\n')) line = f.readline() f.close() wordvector = [] # 词向量数组 for key in keys: wordvector.append(model_1.wv.get_vector(key)) # 轮廓系数确定簇数,最佳值为1,最差值为-1,接近0的值表示重叠的群集 def silhouette_score_show(data_vec=None, name=None): k = range(2, 25) score_list = [] for i in k: model = KMeans(n_clusters=i).fit(data_vec) y_pre = model.labels_ print(y_pre) score = round(silhouette_score(data_vec, y_pre), 2) score_list.append(score) plt.figure(figsize=(12, 8)) plt.plot(list(k), score_list) plt.xticks(fontsize=12) plt.yticks(fontsize=12) plt.xlabel('簇数', fontsize=15) plt.ylabel('系数', fontsize=15) plt.savefig(f'{name}轮廓系数.jpg') plt.show() silhouette_score_show(wordvector, 'word2vec')
时间: 2024-04-27 10:21:01 浏览: 237
这段代码的作用是利用词向量模型和KMeans聚类算法,对指定关键词的词向量进行聚类,并利用轮廓系数确定最佳聚类个数。具体来说,代码中的主要步骤如下:
1. 加载训练好的词向量模型。
2. 从文件中读取指定关键词,获取这些词的词向量。
3. 定义一个silhouette_score_show函数,用于计算不同聚类个数下的轮廓系数,并绘制轮廓系数随聚类个数变化的曲线图。
4. 在silhouette_score_show函数中,利用sklearn.cluster模块的KMeans算法对词向量进行聚类,并计算每个聚类个数下的轮廓系数。
5. 最后调用silhouette_score_show函数,传入词向量数组和图表名称,绘制并显示轮廓系数随聚类个数变化的曲线图。
需要注意的是,这段代码中的参数设置可能需要根据具体的数据集和需求进行调整。例如,聚类的簇数区间[2, 25]可以根据需要进行调整,同时也可以尝试其他聚类算法和参数设置,以获取更好的聚类效果。
阅读全文
相关推荐














