PNAS | 文本网络分析&文化桥梁Python代码实现

现在一提到文本分析，除了词频统计、情感分析，就属话题分析最火，主流技术路线是使用LDA话题模型进行主题分析。但是LDA适合文档区分度大，文本档数较大。如果不满足这两点，LDA虽然能跑出模型，但是跑出的topic无法解读，没有意义。今天在阅读Python技术实现文之前，将技术文的背景文献稍微整理翻译了下，方便大家更好的理解 文本网络分析 的应用场景。

背景-文化桥梁

文化信息传递理论、公共审议、计算社会学技术。

Markowitz, D. M., & Shulman, H. C. (2021). The predictive utility of word familiarity for online engagements and funding. Proceedings of the National Academy of Sciences, 118(18).

由于每天光顾此类论坛的人数迅速增加，社交媒体为倡导组织塑造公共辩论提供了有力的机会。然而，社会科学家还没有解释为什么一些 议题发起者 能成功发起大规模的广泛参与性(公开辩论/广泛对话)，而大多数其他组织却没做到。本文使用自动文本分析发现，如果组织方建立 文化桥梁 ，在很少能一起讨论的议题领域内产生可连接的对话主题信息，这类信息不仅能引起多个受众的共鸣，而且还能让这些受众彼此进行对话，那么组织方更有可能激发新社交媒体受众的评论。在控制这些因素的情况下，建立实质性文化桥梁的组织， 其所发布信息， 比那些没有建立实质性文化桥梁的组织， 得到的评论数多 2.52 倍。

社交网络分析通常用于描述个人之间的友谊或其他关系，但它也可通过参与者的消息或想法的类型来描述参与者之间的关系（如下图) 是“文化网络”中的一个小区域。

• 每个节点描述一个参与议题公开对话的参与者

• 节点间的边代表那些在社交媒体倡导领域内讨论类似议题的人。

PNAS2016这篇使用“ 自闭症谱系障碍ASD疾病的治病原因大讨论 ”做的数据分享，图中 t1 处的一类用户认为ASD致病可能跟疫苗有关，而另一类人可能认为ASD可能与遗传因素的有关。从图形看，t1这类议题发起方式，没有产生广泛参与性。而t2和t3，文化网络中因为文化桥梁的存在，产生了广泛参与性。

假设的文化网络，其中节点代表参与有关议题的对话参与者，而节点之间的边则描述了其消息内容的相似性。议题广泛参与性，除了话题发起者影响力、话题投放资源等因素影响，还有一个因素就是发起的话题是否吸引了受众。对于参与者而言，最有吸引力的话题需要满足**“新颖，且熟悉”**。

用TF-IDF刻画文化网络中的“新且熟悉”

在文本分析中有一个文本特征提取技术 tf-idf<