零基础学nlp【1】多任务训练（Multi-task sequence to sequence learning）

原创

于 2019-03-07 13:02:02 发布 · 1.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#nlp #多任务训练 #零基础

本文介绍了多任务训练（Multi-task sequence to sequence learning）在自然语言处理（NLP）中的应用，通过单对多、多对一、多对多三种模式提升模型效果。研究发现，适当的任务混合比例（mixing ratio）如0.1可以优化主要任务的性能。文中还探讨了添加无监督学习任务，如skip-thoughts和autoencoding，以及在多层LSTM网络中使用大模型的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

零基础学nlp【1】多任务训练

论文： Luong M T, Le Q V, Sutskever I, et al. Multi-task sequence to sequence learning[J]. arXiv preprint arXiv:1511.06114, 2015.](https://arxiv.org/pdf/1511.06114.pdf)

整体思路

多任务训练如图所示，分别是单对多，多对单，多对多。举个例子，在单对多任务训练中，采用相同的encoder不同的decoder，训练encoder的时候交叉使用不同的task对encoder进行训练，可以看做encoder融合了不同task所需的信息。在这样的多任务训练模式下，作者发现通过调节次要task 的mixing ratio（比如主要任务是翻译，每训练100次翻译任务后用文本分析任务训练10次，则mixing ratio是0.1）可以使主要任务在测试集上得到更好的效果。
one-to-many
many-to-one
many-to-many