TranSHER: 通过双曲椭球限制翻译知识图谱嵌入

Cosimo Gregucci, Mojtaba Nayyeri, Daniel Hernández, Stefen Staab，2022

TranSHER: Translating Knowledge Graph Embedding with Hyper-Ellipsoidal Restriction

摘要

提出了一种新颖的评分函数TranSHER，它利用头尾实体之间的关系特定的平移来放松超椭球约束。通过引入直观简单的关系特定平移，TranSHER可以提供更直接的优化指导，并捕捉具有复杂关系的实体的更多语义特征。实验结果表明，TranSHER在链接预测上取得了显著的性能改进，并且在不同领域和规模的数据集上具有良好的泛化能力。

模型架构

• 提出了一个简单而有效的基于转换距离的分数函数TranSHER。
• TranSHER首先将实体向量映射到超椭球面上，然后对映射后的实体进行关系特定的转换，以模拟头实体和尾实体之间的距离。

TranSHER首先将实体向量映射到具有固定范数约束的超椭球体上，从而带来了普遍的训练稳定性；然后对受限制的实体进行关系特定的平移，用于建模映射头部和尾部聚类之间的距离。具体来说，我们首先定义一个映射函数G(e)，将实体限制在超椭球面上。由于事实三元组是有向的，我们使用两个单独的关系特定映射函数GH_r(eh)和GT_r(et)来管理当实体被认为是头部或尾部时的情况，分别为:

这里的◦表示逐元素乘积。这种映射可以被视为通过固定L2范数||~e||2 = 1将实体限制在单位超球面上，并根据不同的关系进行进一步的线性缩放。由于训练中的softmax损失意图学习径向分布的实体表示（Wang等，2017），因此实体表示的固定范数限制有助于TranSHER优化过程的稳定性（Xu和Durrett，2018；Wang和Isola，2020）。通过GH_r和GT_r，我们能够根据关系和它们是头部还是尾部将实体向量映射到两个超椭球体上，如图1a所示。请注意，如果r_H = 1或r_T = 1，则实体嵌入将分布在单位超球面上。

然后，我们引入一个关系特定的平移项Br ∈ R^k，它不仅缓解了硬超椭球形的限制，还鼓励将在空间中接近且难以区分的实体识别为复杂关系中的候选。因此，TranSHER的最终评分函数可以推导为：

其中γ是一个可调节的常数边距。需要注意的是，所有的嵌入共享相同的维度设置k，即r_H，r_T，B_r，e ∈ R^k。对于受超椭球限制的实体的额外平移增加了评分函数的自由度，因此可以为建模复杂关系连接的实体聚类之间的距离提供额外的优化选项。

结论

• 本文提出的TranSHER通过在超椭球面上的实体上引入关系特定的转换，提出了一种新的知识图谱嵌入模型，用于链接预测任务。
• TranSHER在不同数据集上展现了强大的性能，并改进了复杂关系建模。

局限性

• TranSHER主要提供了关于转换项（平移项）如何改进知识图谱嵌入方法的见解，但由于知识图谱中实体数量巨大，并未直接展示学习到的实体表示分布，这可能为任务提供更多有益信息。

Code

https://github.com/ yizhilll/TranSHER