Graph nuralnetwork@2021

Personal Presentation by Shusaku SONE 1
2021/2/10
Graph Neural Network
Shusaku SONE

2021/2/10
GNN 基本
AGGREGATE 集約近傍ノードの特徴をMAX,SUM,MEAN
などしてひとつにする
CONCAT(combine) 結合自分自身の特徴と近傍ノード特徴を結合する
READOUT 読み出しグラフを構成する全てのノード特徴をSUM,
MEANするかしてグラフの特徴を表現する

2021/2/10
層の定義
注目ノード 0層 (k=0)
注目ノードを含む近傍を 1層 (k=1)
注目ノードを含む近傍を畳み込みこんだ特徴量を中心とする近傍を 2層 (k=2)

2021/2/10
MUTAG Dataset
データセット MUTAG（Mutagenic compound DataSet)
グラフ : 188種類の変異原性芳香族および異種芳香族ニトロ化合物が含まれている。
グラフ１つは平均17.9個のノードからなる．
ノード : 7つの異なる離散ラベルが付いている.
エッジ : 4つの異なる離散ラベルが付いている.
グラフの種類: 変異原物質か否かの2値 1: 変異原物質 0: 変異原物質でない
ノード特徴:
0 C [1,0,0,0,0,0,0]
1 N [0,1,0,0,0,0,0]
2 O [0,0,1,0,0,0,0]
3 F [0,0,0,1,0,0,0]
4 I [0,0,0,0,1,0,0]
5 Cl [0,0,0,0,0,1,0]
6 Br [0,0,0,0,0,0,1]
2-Nitrophenanthrene
2-ニトロフェナントレン
2,5-Difluoronitrobenzene
2,5-ジフルオロニトロベン
ゼン
エッジ特徴
0 aromatic
1 single
2 double
3 triple

2021/2/10
GCN (AGGREGATION + CONCAT)
注目するノード vを含む近傍のノードの特徴を足し合わせてその平均の特徴をもとめる。
=> 自分を含む近傍ノードは隣接行列表現で表現して，それと全ノードとの積和を
もとめれば、各々のノードのSUMがでる。それを注目ノードに隣接しているノードの数で割るのがMEAN
2 [1., 0., 0., 0., 0., 0., 0.]
11 [1., 0., 0., 0., 0., 0., 0.]
3 [1., 0., 0., 0., 0., 0., 0.]
ReLUをとり，それを注目ノードv を中心とした近傍を含む特徴にする。
これが1hop先(k=1)のvでの特徴となる。
(1)
(1)
1 LayerのNN の計算つまり重みW との演算を行う。⇒ Perception
(2)
(2)
(３)
(３)
1
3
2
11
k=0
k=1
1 [0., 0., 1., 0., 0., 0., 0.]
注目ノード v=2
SUM [3., 0., 1., 0., 0., 0., 0.]
MEAN [0.75, 0., 0.25, 0., 0., 0., 0.]
Graph Convolutional Networks (GCN) (Kipf & Welling, 2017)
hv[4,7]W[7,24] ⇒ [4,24]

2021/2/10
(1)
GraphSAGE
注目するノード vを除く近傍のノードのMAXを特徴とする。
2 [1., 0., 0., 0., 0., 0., 0.]
11 [1., 0., 0., 0., 0., 0., 0.]
3 [1., 0., 0., 0., 0., 0., 0.]
(1)
(2)
(4)
(３)
1
3
2
11
k=0
k=1
1 [0., 0., 1., 0., 0., 0., 0.]
注目ノード v=2
ＭＡＸ [1., 0., 1., 0., 0., 0., 0.]
av[4,7]
CONCAT(hv[4,7],av[4,7])⇒[4,14]
CONCAT[4,14] w[14,24] ⇒ [4,24]
注目するノードvと近傍ノードMAXの特徴をCONCATする。
1 LayerのNN の計算つまり重みW との演算を行う。⇒ Perception
ReLUをとり，それを注目ノードv を中心とした近傍を含む特徴にする。
Inductive Representation Learning on Large Graphs
(GraphSAGE) (William,Ying & Jure, 2018)

2021/2/10
(1)
GIN
注目するノード vを含む近傍のノードのSUMを特徴とする。
2 [1., 0., 0., 0., 0., 0., 0.]
11 [1., 0., 0., 0., 0., 0., 0.]
3 [1., 0., 0., 0., 0., 0., 0.]
(1)
(2)
1
3
2
11
k=0
k=1
1 [0., 0., 1., 0., 0., 0., 0.]
注目ノード v=2
SUM [3., 0., 1., 0., 0., 0., 0.]
2 Layer以上のNN の計算つまりMLP演算を行う。⇒ 特徴を別次元に飛ばすことになるので特徴の単射性が確保できる
それを注目ノードv を中心とした近傍を含む特徴にする。
HOW POWERFUL ARE GRAPH NEURAL NETWORKS? (GIN)
(Keyulu Xu, Weihua Hu, Jure Leskovec, Stefanie Jegelka, 2019)

2021/2/10
GCN, GraphSAGE, GIN
GCN
GraphSAGE
GIN

2021/2/10
AGGREGATION (1)
SUM以外のAggregationを行うと単射性(injective)が崩れる。
MAX/MEANの場合識別できないグラフ構造が発生する。
接続ノードの個数の情報が落ちる。
意図的に接続ノードの個数の情報を落としたい場合はMAXが良い。
[1., 0., 1., 0., 0., 0., 0.]
[1., 0., 1., 0., 0., 0., 0.]
[1., 0., 1., 0., 0., 0., 0.]
Max [1., 0., 1., 0., 0., 0., 0.]
Mean [1., 0., 1., 0., 0., 0., 0.]
Sum [2., 0., 2., 0., 0., 0., 0.]
[1, 1, 0., 0., 0., 0., 0.]
[1., 0., 1., 0., 0., 0., 0.]
[1., 0., 1., 0., 0., 0., 0.]
Max [1., 0., 1., 0., 0., 0., 0.]
Mean [1., 0., 1., 0., 0., 0., 0.]
Sum [3., 0., 3., 0., 0., 0., 0.]
[1, 1, 0., 0., 0., 0., 0.]
[1, 1, 0., 0., 0., 0., 0.]
[1, 1, 1, 0., 0., 0., 0.] [1, 1, 1 , 0., 0., 0., 0.]
Max [1., 1., 1., 0., 0., 0., 0.]
Mean [1., 1., 0.5., 0., 0., 0., 0.]
Sum [2., 2., 1., 0., 0., 0., 0.]
Max [1., 1., 1., 0., 0., 0., 0.]
Mean [1.5, 1.5, 0.5., 0., 0., 0., 0.]
Sum [3., 3., 1., 0., 0., 0., 0.]
[1, 1, 1 , 0., 0., 0., 0.] [1, 1, 1 , 0., 0., 0., 0.]
[1, 1, 1 , 0., 0., 0., 0.]
[1. 1, 0., 0., 0., 0., 0.]
[1. 1, 0., 0., 0., 0., 0.]
[1. 1, 0., 0., 0., 0., 0.]
Max [1., 1., 1., 0., 0., 0., 0.]
Mean [1., 1., 0.5., 0., 0., 0., 0.]
Sum [2., 2., 1., 0., 0., 0., 0.]
Max [1., 1., 1., 0., 0., 0., 0.]
Mean [1, 1, 0.5, 0., 0., 0., 0.]
Sum [4., 4., 2., 0., 0., 0., 0.]
単射(injective) wikipedia

2021/2/10
AGGREGATION (2)
Neighbor
Max
Mean
1 layer
1 layer
MAX-1-Layer (Graph SAGE)
MEAN-1-Layer (GCN)
Sum 1 layer SUM-1-Layer
Multi layer SUM-MLP (GIN)
neighbor_pooling_type MLP層数 eps
GCN mean 1FALSE
GraphSAGE max 1FALSE
GIN-e sum 2TRUE
GIN-0 sum 2FALSE
1 layer perceptionは, 単射性が崩れる
の場合，同一座標へ写像してしまう
単射性を確保するためのMLPの層数と
次のkで表現される層数(hop数)は異なることに注意。

2021/2/10
Graph representation

2021/2/10
GINでのGraph表現
グラフレベル表現

2021/2/10
InfoGraphでのGraph表現
ノードv のk番目の層における特徴ベクトル
グラフレベル表現
uとvの間のエッジの特徴ベクトル
K層のグラフニューラルネットワークのパラメータの集合
ノード i を中心としたパッチ表現の要約
Fan-Yun Sun,Jordan Hoffman,Vikas Verma,Jian Tang, INFOGRAPH: UNSUPERVISED
AND SEMI-SUPERVISED GRAPH-LEVEL REPRESENTATION LEARNING VIA MUTUAL
INFORMATION MAXIMIZATION,2020
・ノード表現（例 l_enc [7,3] (ノード 7 , 特徴量ベクトル 3) ・グラフ表現 (例 g_enc [2,3] (グラフ 2 , 特徴量ベクトル 3)
式 (2) 式 (3)

2021/2/10
Dataset

2021/2/10
MUTAG Dataset
データセット MUTAG（Mutagenic compound DataSet)
グラフ : 188種類の変異原性芳香族および異種芳香族ニトロ化合物が含まれている。
グラフ１つは平均17.9個のノードからなる．
ノード : 7つの異なる離散ラベルが付いている.
エッジ : 4つの異なる離散ラベルが付いている.
グラフの種類: 変異原物質か否かの2値 1: 変異原物質 0: 変異原物質でない
ノード特徴:
0 C [1,0,0,0,0,0,0]
1 N [0,1,0,0,0,0,0]
2 O [0,0,1,0,0,0,0]
3 F [0,0,0,1,0,0,0]
4 I [0,0,0,0,1,0,0]
5 Cl [0,0,0,0,0,1,0]
6 Br [0,0,0,0,0,0,1]
2-Nitrophenanthrene
2,5-ジフルオロニトロベン
ゼン
エッジ特徴
0 aromatic
1 single
2 double
3 triple

2021/2/10
変異原性物質 (変異原性化合物 mutagenic compound)
DNAに変化をひき起こす作用をもつ物質であり, 強い変異原性は発ガン性と密接な関係があることが知られて
いる。
変異原性を調べることは遺伝毒性、発がん性の可能性がある物質を見つけ出すのにも役立つと考えられ、変
異原性試験は発がん性物質のスクリーニング試験（候補の絞り込み）としての意味も持つ。
〇芳香族化合物（ほうこうぞくかごうぶつ、aromatic compounds）
ベンゼンを代表とする環状不飽和有機化合物の一群。
炭化水素のみで構成されたものを芳香族炭化水素 (aromatic hydrocarbon),
環構造に炭素以外の元素を含むものを複素芳香族化合物 (heteroaromatic compound) と呼ぶ。
〇 NOx（ノックス）
窒素酸化物の総称。主に土壌中の微生物によって生成されるが、エンジン中の燃料など高温・高圧下
で物質が燃焼する際にも生じる。
〇ニトロ多環芳香族化合物
有機化合物の燃焼過程で生成する物質の一種。
多環芳香族化合物（炭素が六角形に結合したベンゼン環が複数連なった化合物）
がNOxと反応することによって生じ,強力な変異原性をもつものが多い。

2021/2/10
定量的構造活性相関 QSAR
化学物質の構造と生物学的（薬学的あるいは毒性学的）な活性との間になりたつ量的関係のこと。
これにより構造的に類似した化合物の「薬効」について予測することを目的とする。
QSAR(=Quantitative Structure-Activity(またはAffinity) Relationshipの略) と呼ばれることもある。
D Villemin, D Cheqaoui, JM Cense,
Neural networks studies: quantitative structure-activity relationship
of mutagenic aromatic nitro compunds, J Chim Phys (1993) .
MUTAGデータセットは，188種類の化合物の変異原性活性(Observed mutagenic activity)
を求め，正値を1, 負値を-1としたデータセットである。
グラフ分類では，1を１，-1を0 にした2種分類問題として扱う論文が多い．
No. 化合物名 InfoGraphなど Orig Observed mutagenic activity
1
2-Nitrophenanthrene
1 1 2.11
2
8-Nitroquinoline
8-ニトロキノリン
0 -1 -1.24
3
5-Nitroquinoline
5-ニトロキノリン
0 -1 -0.96
4
1-Nitrofluoranthene
1-ニトロフルオランテン
1 1 2.74
5
2,5-ジフルオロニトロベンゼン
0 -1 -0.79

2021/2/10
Ames試験
化学物質の変異原性を微生物のサルモネラ菌を使って調べる試験。
この試験では通常TA100株とTA98株の2菌株を用いる。
TA100株はDNAの塩基置換型変異
TA98株はDNAのフレームシフト変異
をそれぞれ検出できるように工夫されている。
被験物質がそれらの突然変異を誘発するか否かについて、同時にしかも短期間で調べることが出来る。
〇代謝活性化
化学物質によっては、生体内で種々の酵素によって代謝を受けて活性化された後、
変異原性を示すものが多く知られている。
Ames試験でもラットの肝臓の抽出物を加えて（ここには種々の代謝酵素が含まれている）
試験管内で代謝を行い代謝物の影響を考慮した試験を代謝活性化法（S9mix(+)と略記）と言う。
代謝活性化を行わない試験を直接法といい（-S9と略記）
通常はこれら2つの処理を同時に行いこれらの結果を総合して変異原性の有無についての判定を下す。
http://www.analyzejnet.com/anzensei/ames-nonglp.htm

Graph nuralnetwork@2021

More Related Content

What's hot (7)

Graph nuralnetwork@2021