ACL 2023|《Double-Branch Multi-Attention based Graph Neural Network for Knowledge Graph Completion》细读

查理养殖场

已于 2024-03-27 17:04:25 修改

阅读量2k

点赞数 44

CC 4.0 BY-SA版权

分类专栏：文献阅读整理文章标签：知识图谱人工智能

于 2024-03-19 10:50:40 首次发布

本文链接：https://blog.csdn.net/qq_45444343/article/details/136692057

模型名称MA-GNN

知识图谱补全（非少样本）

摘要

图神经网络(GNN)有效地利用知识图谱(KG)中的拓扑结构在低维空间中嵌入实体和关系，在知识图谱补全(KGC)中显示出强大的功能。KG具有丰富的全局和局部结构信息，然而，许多基于GNN的KGC模型不能通过设计复杂的聚合方案来捕获这两类关于图结构的信息，并且不能很好地学习孤立子图中具有稀疏邻域的可见实体的表示。在本文中，我们发现一个简单的基于注意力的方法可以优于一般的基于GNN的KGC方法。然后，我们提出了一种基于双分支多注意的图神经网络(MA-GNN)来学习包含丰富的全局局部结构信息的更具表现力的实体表示。具体来说，我们首先探索了基于图注意网络的局部聚合器来学习实体表示。在此基础上，我们提出了一种滚雪球式的局部关注机制，利用两跳邻居之间的语义相似性来丰富实体嵌入。最后，我们利用基于Transformer的自关注学习实体之间的远程依赖关系，以获得具有全局图结构和实体特征的更丰富的表示。在5个基准数据集上的实验结果表明，MA-GNN在归纳KGC的强基线上取得了显著的改进。

一、介绍

1、知识图谱(KGs)是由事实三元组(头实体、关系、尾实体)表示的结构化知识集合，对许多应用至关重要，包括语义搜索、问答、推荐系统等。

2、即使是拥有数十亿个三元组的大规模知识图谱(例如Freebase和DBpedia)也是不完整的，不完整性限制了知识图谱的应用。

3、知识图谱补全(KGC)试图在给定三元组关系和尾(头)的情况下自动预测缺失的头(尾)。

4、知识图谱补全(KGC)可以通过以下方法：

知识图谱嵌入(KGE)方法：KGE旨在定义一个评分函数，并将实体和关系嵌入到低维向量空间中，以基于观察到的三元组来评估三元组的合理性。

图神经网络(GNN)方法：由于KGC的内在图结构，GNN可以通过聚合其相应的本地邻居信息来学习每个实体的隐藏表示。

基于注意力的GNN方法：基于注意力的GNN方法可以有效地聚合多跳邻居信息从而获得更丰富的实体表示。

二、面临问题

1、知识图谱嵌入（KGE）补全知识图谱：严重依赖于预定义的评分函数；很难将关于实体的结构信息编码为单个向量。

2、图神经网络(GNN)补全知识图谱：只能捕获单个实体附近的局部信息，缺乏利用全局信息的能力；一个大的知识图谱由多个独立的子图组成，这些子图不与主子图相连，随着GNN层的增加和孤立子图中有限实体和关系的增加，现有的GNN方法往往会出现过度平滑或过度压缩。

3、基于注意力的GNN补全知识图谱：它们大多数集中于编码高阶拓扑信息(路径或随机行走序列)，忽略了来自邻域实体的丰富结构信息；对复杂信息编码中重要的局部信息与全局信息的融合问题重视不够；两跳邻居实体的数量远远高于一跳邻居实体的数量，直接为每个目标实体融合两跳邻域实体不合理。

因此，对目标实体更关注其多跳邻居，并结合全局和局部结构信息来学习有效的知识表示是有意义的。

本文提出了一种双分支多注意图神经网络(MA-GNN)，以保持KGC的全局-局部结构信息。MA-GNN是一种编码器-解码器模型，其中三种注意机制(Graph attention network(GAT)、基于Snowball局部注意机制和基于Transformer的自注意模块)和ConvE 分别扮演编码器和解码器的角色。此外，由于这两个分支的特征不同，在提取全局和局部特征时使用了三种注意机制。具体来说，我们首先采用了基于GAT和基于Transformer的自注意模块学习实体表示以获取全局-局部结构信息。其次，提出了Snowball局部注意模块来计算两跳邻域实体之间的局部语义相似度。

综上所述，我们做出了以下贡献：

1、提出了一种双分支多注意图神经网络，该网络由全局和局部两个并行分支组成，与其他基于注意力的GNN方法相比，MA-GNN可以通过GAT和基于Transformer的自注意捕获实体之间的局部信息和长期依赖关系。
2、为了提取更多的判别特征，设计了Snowball局部注意机制，该机制可以学习目标实体的两跳邻域实体之间的实体相似性，并像雪球一样编码更多的信息。
3、在五个基准数据集上将MA-GNN与以前的KGC方法进行了比较。实验表明，MA-GNN具有显著的改进效果，在WN18RR数据集上的得分为0.679，在NELL-995数据集上的得分为0.823，在FB15K数据集上的得分为0.932，分别比现有方法高12.7%，4.3%和15.1%。