超级会员免费看
该博客介绍了一种自研的新词发现算法，特别适用于发现特定领域中未收录于公共词库的名词。通过使用autophrase、n-gram、信息熵和凝固度等技术，该方法能够有效地从大量数据中挖掘出独特的词汇。提供的代码和数据文件可供进一步研究。
可以发现特殊领域海量数据中专属的名词，这种名词在结巴等公众领域词库中是没有的。
先上结果，可以挖掘到一些特有的方法词汇！
看下代码文件目录：
wiki_quality.txt-Dell文档类资源-CSDN下载
看下原始的数据文件：
代码如下：
import urllib
import requests
import os
import time
import thre
订阅专栏 解锁全文
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
