论文浅尝 | 利用问题生成提升知识图谱问答

论文提出一种使用问题生成提升知识图谱问答模型性能的方法,通过联合问答(QA)和问题生成(QG)的对偶学习策略。在问答模型面对未见过的谓词时,利用QG生成的问题对模型进行微调,提高关系识别的准确性。实验结果显示,模型在处理未知谓词时表现出色。

论文笔记整理:谭亦鸣,东南大学博士生,研究方向为知识库问答。


640?wx_fmt=png

来源:NLPCC2019

链接:http://tcci.ccf.org.cn/conference/2019/papers/183.pdf

           

    本文提出了一种利用问题生成提升知识图谱问答模型性能的方法(一个框架),动机主要有两个,其一是问答模型训练基于大量有标注问答数据集(人工成本高,且规模有限),其二是当问答模型面对训练过程中没见过的谓词(predicate)时,性能将会受到严重影响。因此作者提出基于现有知识图谱和文本语料,联合问答(QA)和问题生成(QG),将问题生成的结果用于问答模型的微调(fine-tune)中。

           

方法

1.    联合策略

作者提出使用对偶学习(dual-learning)联合QA和QG模型,训练的目标符合以下约束,其中 θqg 表示训练得到的 QG 模型,θqa 表示 QA 模型,QG 模型对于给定答案 a 生成的问题 q 需要对应 QA 模型对于问题 q 给出的答案 a:

知识图谱transformer是一种基于图谱结构的编码器模型,用于学习和表示知识图谱中的关系。它采用了类似于普通transformer模型的框架,但在结构上有一些差异。通过引用可以看到,知识图谱transformer的框架图与普通transformer模型相似。然而,为了更好地利用图谱中的关系结构,解决了线性/层次约束的问题,作者提出了一种新的Graph Transformer编码器,如引用所述。这种编码器允许模型有效地利用图谱的结构信息,从而更好地学习和表示知识图谱中的关系。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [论文浅尝 | 利用图 Transformer 实现基于知识图谱的文本生成](https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/100190240)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [基于生成式预训练Transformer的跨媒体内容生成知识图谱构建](https://blog.csdn.net/universsky2015/article/details/131468154)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值