import jieba import jieba.analyse as analyse import gensim from gensim import corpora, models, similarities import numpy as np np.random.seed(2021) # 停用词表加载方法 def get_stopword_list(): # 停用词表存储路径，每一行为一个词，按行读取进行加载 # 进行编码转换确保匹配准确率 stop_word_path = './stopword.txt' stopword_list = [sw.replace('\n', '') for sw in open(stop_word_path, encoding='utf-8').readlines()] return stopword_list # 停用词 stop_word = get_stopword_list() text = input() # 分词 sentences = [] segs = jieba.lcut(text) segs = list(filter(lambda x: x not in stop_word, segs)) sentences.append(segs) # 构建词袋模型 dictionary = corpora.Dictionary(sentences) corpus = [dictionary.doc2bow(sentence) for sentence in sentences] result = "" # 任务：使用gensim模块中的函数构造LDA模型，得出最佳主题词的分析结果保存到result变量中。 # ********** Begin *********# lda = gensim.models.LdaModel(corpus,id2word=dictionary, num_topics=1) # ********** End **********# print(result.split('*')[1],end="")

### 使用 Gensim 的 LDA 模型进行主题分析并提取最佳主题词 为了实现基于 Gensim 的 LDA 主题建模并对分词后的文本进行主题分析，以下是详细的说明和代码示例。 #### 数据准备 在构建 LDA 模型之前，需要对输入文本进行预处理。这通常包括去除停用词、标点符号和其他噪声数据，并将文本转换为适合模型的形式。具体来说，可以通过以下方式完成： 1. **加载分词后的文本列表**：假设已经有一个经过分词的文本集合 `texts`。 2. **创建字典 (Dictionary)** 和 **语料库 (Corpus)**：这是 Gensim 中用于表示文本的核心结构。 ```python from gensim import corpora, models # 假设 texts 是一个包含多个文档单词列表的二维数组 dictionary = corpora.Dictionary(texts) # 过滤掉频率过低或过高（可选） dictionary.filter_extremes(no_below=5, no_above=0.5) # 创建语料库 corpus = [dictionary.doc2bow(text) for text in texts] ``` #### 训练 LDA 模型 接下来，使用 Gensim 提供的功能训练 LDA 模型。这里可以选择指定的主题数量以及其他超参数。 ```python # 设置主题数和迭代次数 num_topics = 10 passes = 10 # 构建 LDA 模型 lda_model = models.LdaModel( corpus, num_topics=num_topics, id2word=dictionary, passes=passes, random_state=42 ) ``` #### 获取最佳主题词 对于每篇文档，可以调用 LDA 模型的方法来获得其对应的最佳主题及其概率分布。下面是一个简单的例子展示如何找到某个新文档的最佳主题。 ```python import numpy as np def get_best_topic(model, dictionary, doc_bow): topic_distribution = model.get_document_topics(doc_bow) best_topic_id, _ = max(topic_distribution, key=lambda item: item[1]) return best_topic_id new_doc = ["example", "document"] # 新文档的分词语句 doc_bow = dictionary.doc2bow(new_doc) best_topic_id = get_best_topic(lda_model, dictionary, doc_bow) print(f"Best Topic ID: {best_topic_id}") topic_words = lda_model.show_topic(best_topic_id, topn=10) for word, prob in topic_words: print(f"{word}: {prob:.4f}") ``` 以上代码展示了如何针对单个文档找出最可能的主题编号，并打印该主题下的前十个关键词及其权重[^1]。 #### 可视化主题模型 如果希望直观了解各个主题的内容构成，还可以借助 pyLDAvis 工具来进行可视化操作。 ```python import pyLDAvis.gensim_models as gensimvis import pyLDAvis pyLDAvis.enable_notebook() vis_data = gensimvis.prepare(lda_model, corpus, dictionary) pyLDAvis.display(vis_data) ``` 此部分有助于更深入理解不同主题之间的关系以及它们各自的关键特征[^3]。 --- ###