研究发现，图神经网络（GNN）在处理异常特征时，特征聚合能增强异常恢复但过度聚合可能损害性能，而残差连接虽有助于正常特征学习，却增加对异常特征的敏感性。文章通过拉普拉斯平滑视角解释这一现象，并提出自适应消息传递（AMP）方案，旨在在保持正常功能性能的同时增强对异常特征的恢复能力，实现特征聚合与残差连接之间的自适应平衡。
GNN消息传递中的残差连接有助于提高性能，但它们极大地增强了GNN对异常节点特征的脆弱性。
神经系统传递框架
。本文首先对具有代表性的GNN模型在具有异常特征的图上的行为进行了实证研究。实验发现：（1）特征聚合可以提高对异常特征的恢复能力，但过多的聚合可能会影响正常和异常特征的性能；（2）残差连接有助于GNN从正常特征的更多层次中受益，同时使GNN对异常特征更脆弱。之后，提供可能的解释，从图拉普拉斯平滑的角度来理解这些观察到的现象。我们的分析表明，特征聚合和剩余连接之间可能存在内在的张力，这导致正常特征和异常特征之间的性能权衡。我们目的是设计新的GNN，在很大程度上保持正常功能的性能的同时，具有更强的异常功能恢复能力。
图拉普拉斯矩阵
GNNs中常用的特征聚合矩阵
，相应拉普拉斯矩阵
实验发现：1.特征聚合可以提高对异常特征的恢复能力，但过多的聚合可能会影响正常和异常节点的性能
2.残余连接有助于GNN从具有正常功能的节点的更多层中受益，同时使GNN对异常功能更加脆弱
使用拉普拉斯平滑对发现进行理解：
1.特征聚合作为拉普拉斯平滑
特征聚合
它可以解释为拉普拉斯平滑问题的一个梯度下降步骤
其中di就是节点vi的度。等式（2）可由
导出，其中初始化
最低0.47元/天 解锁文章
扫一扫
952
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
