nlp数据增强+SimBERTv2 +谷歌翻译回译

甜辣uu

于 2021-12-02 17:01:14 发布

阅读量2.6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：自然语言处理-nlp-NLP python从入门到精通文章标签： pycharm ide python

本文链接：https://blog.csdn.net/qq_38735017/article/details/121681439

python从入门到精通同时被 2 个专栏收录

166 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

自然语言处理-nlp-NLP

89 篇文章 ¥59.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了使用Roformer-sim SimBERTv2进行数据增强的方法，包括谷歌回译、随机实体替换、同义词替换、近义字替换、字删除、NER数据增强、随机字位移和百度翻译的中英互译增强。这些技术可以用于提升NLP模型的泛化性能。还提供了一个一键中文数据增强工具nlpcda，支持多种数据增强操作，并给出了代码资源和示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

谷歌回译

 #!pip install googletrans==4.0.0-rc1 -i https://pypi.tuna.tsinghua.edu.cn/simple/ --trusted-host pypi.douban.com

#!pip install googletrans==4.0.0-rc1 -i https://pypi.tuna.tsinghua.edu.cn/simple/ --trusted-host pypi.douban.com
from googletrans import Translator
translator = Translator(service_urls=['translate.google.cn'])
texts=["预估金额与实际金额不一致","我刚刚关锁成功了但是车上的锁没有关上"]
for text in texts:
    print(text)
    res_1 = translator.translate(text,dest="French")# 先翻译成法语
    res_2 = translator.translate(res_1.text,dest="zh-cn")
    print(res_2.text)

    res_3 = translator.translate(text,dest="english")# 先翻译成英语
    res_4 = translator.translate(res_3.text,dest="zh-cn")
    print(res_4.text)
    print("--------------------------------------")