NLTK 2 获得文本语料和词汇资源

power0405hf

于 2015-07-07 13:50:06 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/power0405hf/article/details/46788499

这篇博客介绍了如何使用NLTK库在Python中获取各种文本语料库，包括古登堡项目、网络和聊天文本、布朗语料库、路透社语料库、就职演说语料库以及标注文本语料库，提供了获取和分析原始文本及句子的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 获得文本语料库

1.1 古登堡语料库（Project Gutenberg）

#nltk包含gutenberg的一小部分文本
import nltk
nltk.corpus.gutenberg.fileids()
emma=nltk.corpus.gutenberg.words('austen-emma.txt')
print len(emma)                    #192427

form nltk.corpus import gutenberg
gutenberg.fileids()
for fileid in gutenberg.fileids():
    num_chars=len(gutenberg.raw(fileid))
    num_words=len(gutenberg.words(fileid))
    num_sents=len

最低0.47元/天解锁文章