【主题建模】基于 LDA 和 BERTopic 的 COVID-19 论文内容分析

### 使用 BERTopic 进行文本主题建模 #### 安装依赖库 首先，需要安装 `bertopic` 库以及其依赖项。可以通过 pip 命令来完成这一操作。 ```bash pip install bertopic ``` #### 导入必要的模块 导入用于处理数据和创建模型所需的 Python 模块： ```python from bertopic import BERTopic import pandas as pd ``` #### 准备文档集合 准备待分析的文本集合作为输入给 BERTopic 模型的数据源。假设有一个包含多条记录的 DataFrame 表格形式的数据框 df ，其中一列名为 'text' 存储着每篇文章的内容，则可以直接从中提取出所有文章作为列表传递给 fit_transform 方法[^1]。 #### 创建并训练 BERTopic 模型实例 初始化一个新的 BERTopic 对象，并调用 fit_transform() 函数传入预处理后的语料库来进行拟合变换过程，在这个过程中会自动识别出合适的主题数目而不需要预先指定具体的数量。 ```python documents = list(df['text']) topic_model = BERTopic() topics, probs = topic_model.fit_transform(documents) ``` #### 查看生成的主题及其代表性词汇 通过访问属性获取每个聚类中心最常出现的关键术语，这有助于理解各个类别所表达的核心概念；也可以设置参数调整输出结果中的关键词个数以便更好地解释所得结论[^2]。 ```python print(topic_model.get_topic_info()) for i in range(len(topics)): print(f"Topic {i}: ", end="") print(", ".join([word for word, score in topic_model.get_topic(i)])) ``` #### 调整主题数量 如果发现存在过多重复或相近含义的话题群组时，可通过修改配置选项的方式让算法重新计算更合理的分类方案，比如限定最大允许存在的独立话题总数不超过一定限额（如 100），从而达到简化结构的目的。 ```python topic_model.reduce_topics(docs=documents, nr_topics=100) new_topics, new_probs = topic_model.fit_transform(documents) ``` #### 可视化展示 最后利用可视化工具直观呈现各簇间的关系分布情况，帮助进一步探索潜在模式与规律特征。 ```python fig = topic_model.visualize_barchart() fig.show() ```