Graph Convolutional Network 概説

Graph Convolutional
Network 概説
非常に簡潔なまとめ
@UMU____

目次
このスライドはGraph Convolutional Networkを簡単に説明したもので，私の主観や間違いを含んで
いる可能性があります．
• Graph Convolutional Networkとは？
• グラフの畳み込み演算とは？
• まとめ

Graph Convolutional Networkとは？
• Graph Convolutional Network (GCN) Is 何？
グラフに対しての畳み込み演算を用いてニューラルネットワーク(NN)
を構成する手法
• グラフ Is 何？
グラフ理論のグラフのこと．棒グラフ等のことではない．
グラフはノード（頂点）とエッジ（辺）とエッジの重みで構成されて
いる．エッジはノードを結ぶ．ノード間にエッジがあってもなくても
よい．グラフはノードとエッジと重みだけで決まる．
• グラフに対してのNNとは？
グラフの頂点にデータを入力して，グラフの頂点からデータが出てく
るような，NN．

• 畳み込み演算
一般的に知られている（グラフとは関係ない）畳み込み演算∗は，
数式で書けば，次のようになる(連続,1次元の場合)
𝑓 ∗ 𝑔 = 𝑓 𝑥 − 𝑦 𝑔 𝑦 𝑑𝑦
と表せる． 𝑓 𝑥 が入力で， 𝑔 𝑦 がフィルターである．
離散的な畳み込み演算は
𝑦∈ −𝑐,−𝑐+1,−𝑐+2,…,𝑐−1,𝑐
𝑓[𝑥 − 𝑦]𝑔[𝑦]
となる．ここでcはフィルターのサイズに関係する（サイズは2c+1）．一般
的に入力データのサイズよりフィルターの方が小さい．つまり均一かつ局
所的な演算となる．

• GCNを構成する意味は？
「グラフの頂点にデータを入力して，グラフの頂点からデータが出て
くるような，NN」を構成するだけであれば，グラフという事を考え
ずに，頂点to頂点の全結合NNを構成するのでも問題ない．
しかしながら，昨今のDNNでは，元データの性質をうまく活用するこ
とでパラメータを削減・共有することで成功を収めた．
例）CNN (画像やボリュームデータ等に対して)
例）RNN（時系列データ等に対して）
よって，ノード間の関係が既知（エッジとその重み）という性質を
持ったグラフに対して，うまく構成されたＮＮがあるとよい．
→その１手法として，畳み込みを利用した：ＧＣＮ

フィルタ
入力
• 畳み込みニューラルネットワーク(CNN)とは？
（一般的な）畳み込み演算を用いたNN．
入力とフィルターが畳み込み演算されて出力される．
CNNではフィルターを決定付けるパラメータを学習すべき量とする．
CNNは画像の特性を生かしたNNの構造である．
二次元での畳み込み演算
𝑖,𝑗 = 0,0 の周り
𝑓 𝑥 − 𝑖, 𝑦 − 𝑗 𝑔[𝑖, 𝑗]

グラフの畳み込み演算とは？
• グラフの畳み込み演算
グラフに対して(一般的な)畳み込み演算を行うことはできない．
なぜなら，畳み込み演算はグラフに対しては定義されていないからで
ある．
→そこで，GCNでは，
手法①数学的に妥当な畳み込み演算を定義し，それを用いる．
「数学的に妥当」という言葉が数学的でない件については見逃してください．
手法②畳み込みに似たことをする演算を用いる．（複数手法があるが，
原理的な考えを紹介する．）
によってグラフに畳み込み演算を導入し，CNNと同様，グラフのノー
ドに対する入力から，畳み込み演算を通して，グラフのノードに対す
る出力を得る．学習するのは畳み込み演算のパラメータである．
畳み込みをするという意味で
２
つ
の
違
う
や
り
方
が
あ
る
よ

グラフの畳み込み演算とは？：手法①
手法①は，畳み込みをグラフ上で数学的に定義したいという考え
に基づく．これをするために，一般的な畳み込み演算が満たして
いる条件と同じような条件を満たす演算を持ち込み，それをグラ
フ上の畳み込み演算とする手法である．
• その演算の性質とは，畳み込み演算はフーリエ係数では要素積
となる性質である．
→グラフフーリエ変換を行って，そこで（学習すべきパラメータ
となる）値を要素積し，逆グラフフーリエ変換を施す，という一
連の作業を，グラフ畳み込み演算とする．

• グラフフーリエ変換とは？
（一般的な）フーリエ変換は，ラプラシアンの固有関数によって
関数を展開した形：
𝐹 𝜔 = 𝑓(𝑡), 𝑝 𝜔(𝑡)
ℒ𝑝 𝜔 = 𝜆 𝜔 𝑝 𝜔
↓
𝑝 𝜔 𝑡 = 𝑒 𝑖𝜔𝑡
, 𝜆 𝜔 = −𝜔2
となっている．
→類推により，グラフラプラシアンの固有ベクトルでグラフ信号
を展開した形をグラフフーリエ変換とする

グラフラプラシアンを，グラフの隣接行列𝐴と次数行列𝐷によって
𝐿 = 𝐷 − 𝐴
と定義する．また，これは
𝑥 𝑇
𝐿𝑥 =
𝑖,𝑗 ∈𝑒𝑑𝑔𝑒
𝑊𝑖𝑗 𝑥 𝑖 − 𝑥 𝑗
2
と定義するのと同じである．（よって𝐿は半正定値行列）
グラフラプラシアンの固有ベクトル𝑢 𝑘は，次式より得られる．
𝐿𝑢 𝑘 = 𝜆 𝑘 𝑢 𝑘
グラフラプラシアン自体にもとても面白い性質があるが割愛．
この固有ベクトルによって，グラフ信号𝑋を
𝑋 = ∑𝛽 𝑘 𝑢 𝑘 = 𝑈𝐵
と展開したとき，𝐵がグラフフーリエ変換によって得られる係数である．
辺ijの重み

グラフフーリエ変換をℱ 𝑋 と書くことにする．
ここでグラフラプラシアンは(グラフが無向の場合)実対称行列であるから，𝑈は直交
行列とできる．すると，
ℱ 𝑋 = 𝑈 𝑇
𝑋 = 𝐵, ℱ−1
𝐵 = 𝑈𝐵 = 𝑋
を導く．
• グラフ上の畳み込み演算を，次のように定義する．
• Θは畳み込みのフィルタ（ベクトル）． ⨀は要素積．
X ∗ Θ = ℱ−1
Θ⨀ℱ 𝑋
または， diag(Θ)を用いて，
X ∗ Θ = U diag Θ UT X
となる．手法①終．
手法①は，数学的にきれいだが理論的・計算量的にかなり複雑．
Θiを対角要素にもつ対角行列

グラフの畳み込み演算とは？：手法②
• 手法②
手法①は，数学的にきれいだが理論的・計算量的にかなり複雑であっ
た．手法②では，手法①を近似し，かつ直感的な計算法を導きたい．
ここで，畳み込み演算
X ∗ Θ = U diag Θ UT X
のフィルタΘ 𝑘が，対応する固有値𝜆 𝑘のp次多項式であるとき，畳み込
み演算は，頂点からp近傍内(頂点から辺をp回までたどったときにた
どり着ける頂点全体)に入力されているデータの線形和で表せること
が分かっている．（参考文献３に詳しくある）
このような議論の末，畳み込み演算を，頂点の1近傍内(自分自身とそ
の周り）だけの線形和で近似する計算法を導入し，それを用いる．

グラフの畳み込み演算とは？：手法②
数式で表現すれば，
𝐴𝑋𝑊
となる．𝐴が隣接行列，𝑊がフィルターである．A:N*N,X:N*D,W:D*F
GCNは，これに対して非線形項(ReLu等)を加えたもの
𝜎 𝐴𝑋𝑊
であり，これを適当に改変した物がGCNとして使われている．手法②終．
参考図
𝑋 𝜎 𝐴𝑋𝑊
𝐴
+ 𝑊
適切な重みを掛ける

まとめ
• グラフにとって「良い」NN構造を作るために，グラフ上の畳
み込み演算の定義という形でGCNは作られた．

主な参考文献
• １：How powerful are Graph Convolutions? (review of Kipf &
Welling, 2016)
http://www.inference.vc/how-powerful-are-graph-
convolutions-review-of-kipf-welling-2016-2/
• ２：GRAPH CONVOLUTIONAL NETWORKS
https://tkipf.github.io/graph-convolutional-networks/
• ３：グラフ信号処理のすゝめ
https://www.jstage.jst.go.jp/article/essfr/8/1/8_15/_pdf

Graph Convolutional Network 概説

More Related Content

What's hot (20)

Similar to Graph Convolutional Network 概説 (20)

More from KCS Keio Computer Society (20)

Recently uploaded (8)

Graph Convolutional Network 概説