python实现英文短文自动分词写入文本文件

Acautoai

于 2024-05-10 07:52:45 发布

阅读量104

点赞数

CC 4.0 BY-SA版权

分类专栏： python使用案例与应用文章标签： python easyui 开发语言

本文链接：https://blog.csdn.net/anananajiushiwo/article/details/138645018

python使用案例与应用专栏收录该内容

41 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何使用Python进行英文短文自动分词，详细解析了代码逻辑，包括读取文件、转换标题格式、去重排序以及处理和写入单词到文件的过程。同时，文中指出了代码潜在的问题并提出了改进建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

欢迎关注我👆，收藏下次不迷路┗|｀O′|┛ 嗷~~

一.前言

英文短文自动分词（Automatic Word Segmentation）在自然语言处理和文本分析中有着广泛的应用。

二.代码

import string
f = open('./data/split.txt')
s=f.read()
str1=s.title()
print(str1)
print("".join([s for s in str1.splitlines(True) if s.strip()]))
list1 = str1.split() # 采用默认分隔符进行分割
#字符串列表去重
l1=list(set(list1))
l1.sort(key=list1.index)
for i in l1:
  #去掉特殊符号
  i1=i.translate(str.maketrans('', '', string.punctuation))
  i2=i1.strip

了解本专栏