Temporal Knowledge Graph Reasoning with Historical Contrastive Learning

AAAI Conference on Artificial Intelligence (AAAI-23)

Abstract

Temporal knowledge graph, serving as an effective way to store and model dynamic relations, shows promising prospects in event forecasting. However, most temporal knowledge graph reasoning methods are highly dependent on the recurrence or periodicity of events, which brings challenges to inferring future events related to entities that lack historical interaction. In fact, the current moment is often the combined effect of a small part of historical information and those unobserved underlying factors. To this end, we pro pose a new event forecasting model called Contrastive Event Network (CENET), based on a novel training framework of historical contrastive learning. CENET learns both the his torical and non-historical dependency to distinguish the most potential entities that can best match the given query. Simultaneously, it trains representations of queries to investigate whether the current moment depends more on historical or non-historical events by launching contrastive learning. The representations further help train a binary classifer whose output is a boolean mask to indicate related entities in the search space. During the inference process, CENET employs a mask-based strategy to generate the fnal results. We evaluate our proposed model on fve benchmark graphs. The results demonstrate that CENET signifcantly outperforms all exist ing methods in most metrics, achieving at least 8.3% relative improvement of Hits@1 over previous state-of-the-art base lines on event-based datasets.

时间知识图谱在事件预测方面展现出巨大的潜力，它有效地存储和模拟动态关系。但是，现有的时间知识图谱推理方法通常需要事件具有一定的周期性或重复性，这对于那些没有历史交互记录的实体未来事件的预测提出了挑战。因为很多时候，当前的情况是历史信息和一些未被察觉的深层次因素共同作用的结果。针对这个问题，我们提出了一个基于历史对比学习的新模型——Contrastive Event Network (CENET)。CENET能够学习到事件的历史和非历史依赖关系，从而判断哪些实体最有可能与特定查询相匹配。此外，它还通过对比学习训练查询的表示，来分析当前情况是更受历史事件影响还是非历史事件影响。这些表示还用于训练一个二进制分类器，它的作用是在搜索空间中标记出相关实体。在预测阶段，CENET利用基于掩码的策略来得出最终预测。我们的模型在五个基准数据集上进行了测试，结果表明，CENET在多数评估指标上远超现有方法，尤其在基于事件的数据集上，相比之前的最优模型，其在Hits@1指标上至少提高了8.3%。

1 Introduction 

知识图谱（KGs）作为人类知识的集合，在自然语言处理（Sun等人，2020；Wang等人，2021）、推荐系统（Wang等人，2019）和信息检索（Liu等人，2018）等领域展现出了有希望的前景。传统的KG通常是一个静态的知识库，它使用图形结构的数据拓扑来整合事实（也称为事件），这些事实以三元组（s, p, o）的形式存在，其中s和o分别代表主体和客体实体，p作为关系类型表示谓词。在现实世界中，知识不断演变，这启发人们构建和应用时间知识图谱（TKGs），其中事实从三元组（s, p, o）扩展到了带有时间戳t的四元组，即（s, p, o, t）。因此，TKG由多个快照组成，同一快照中的事实是共存的。图1（a）展示了一个由一系列国际政治事件组成的TKG的例子，其中一些事件可能会重复发生，同时也