利用sklearn进行豆瓣电影评论的文本分类

koishi70

于 2018-03-24 19:59:04 发布

阅读量4k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：自然语言处理文章标签： NLP 自然语言处理 Python

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/yuweiming70/article/details/79680660

该博客介绍了如何利用sklearn进行豆瓣电影评论的文本分类，包括数据清洗、读取与分词、TF-IDF计算以及模型拟合。作者通过清洗数据，使用jieba分词，然后利用TF-IDF转换为向量，最后采用逻辑回归模型进行训练，并调整正则化强度C值以优化模型性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在之前，我已经在豆瓣电影top250中爬取了约6w条好评和差评，在此我们来利用这些数据，进行入门级别的文本分类。

一数据清洗

数据在豆瓣电影top250提供下载，下载后能看到6W条好评和差评，由于爬取时未能完全清除符号，导致一部分毫无意义的颜文字评论混入其中，为了清除这些数据，我在（仅当数据量较小的情况下）excel中替换掉了肉眼可见的一些符号，然后转换成xlsx格式（csv中出现中文时bug太多，在此放弃使用csv格式）。如果数据量较大时，请使用正则表达式进行数据清洗。

二数据的读取与分词

在此提供清洗完毕的数据下载，您可以下载后自行尝试。

使用xlrd库进行xlsx文件的读取，读取完毕后使用jieba分词工具进行分词。

import numpy as np
impor

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。