Graph上的Transformer：Graphormer

最新推荐文章于 2025-06-08 10:59:53 发布

tzc_fly

最新推荐文章于 2025-06-08 10:59:53 发布

阅读量1.7k

点赞数 6

CC 4.0 BY-SA版权

分类专栏：图神经网络文章标签： transformer 深度学习人工智能

本文链接：https://blog.csdn.net/qq_40943760/article/details/137237756

Graphormer在NIPS2021提出，改进Transformer处理图结构的能力，通过centralityencoding、spatialencoding（使用shortestpathdistance）和edgeencoding，增强模型对图中节点间关系的理解。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这个工作来自：Do transformers really perform badly for graph representation，Nips2021，名为Graphormer。Graphormer包含3个主要embedding：centrality encoding， spatial encoding，edge encoding。
fig1

centrality encoding
Graphormer认为节点的向心性（centrality）是图学习的重要信号，因此需要设计一个方法表示向心性并结合到Transformer中。使用图的出度和入度表示节点的向心性： $h_{i}^{(0)}=x_{i}+z^{-}_{deg^{-}(v_{i})}+z^{+}_{deg^{+}(v_{i})}$ 其中， $z−,z+∈Rdz^{-},z^{+}\in\mathbb{R}^{d}$ 为入度 $deg^{-}(v_{i})$ 和出度 $deg^{+}(v_{i})$ 的可学习embedding。对于无向图， $deg^{-}(v_{i})$