本文推荐了由复旦大学孙天祥分享的关于自然语言处理中文本表示的6篇论文，涵盖语言和知识表示的联合学习，包括Skip-Gram、BERT与知识图谱的融合方法，旨在增强模型在语言和知识任务上的性能。论文《CoLAKE: Contextualized Language and Knowledge Embedding》是亮点之一，提出了一种统一语言和知识的预训练模型。
论文推荐
“SFFAI121期来自复旦大学的孙天祥推荐的文章主要关注于自然语言处理的文本表示领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”
关注文章公众号
回复"SFFAI121"获取本主题精选论文
01
推荐理由：是非上下文表示时代联合语言和知识表示的代表性工作，结合Skip-Gram和TransE方法将语言和知识映射至同一语义空间，增强模型在语言和知识任务上的性能。
02
推荐理由：使用Skip-Gram方法将语言和知识的表示学习统一起来，是实体链接领域中的重要工作。
03
推荐理由：是将知识图谱引入到BERT的较早尝试，将预训练好的实体向量融合进BERT中对应单词的表示，引入额外预训练任务实现语言和知识表示的对齐。
04
推荐理由：端到端地将实体向量融入预训练语言模型，以一种更灵活的方式选择要融入的实体向量。
05
推荐理由：将知识图谱中的实体和关系直接拼接到文本相应位置，其中实体和关系表示直接采用其对应文本表示，因而无需预训练可以直接应用于下游任务，是一种高效的知识融入方法。
06
推荐理由：提出了一种低成本的知识融入手段，可以在保持预训练模型参数固定的情况下通过adapter引入多种知识图谱。
会议内容
最低0.47元/天 解锁文章
扫一扫
1721
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
