Download to read offline
Uploaded by春 根上
第2回プログラマのための数学LT会
Lightening talk about the application of eigenvalue and eigenvector for programmers.
第2回プログラマのための数学LT会
- 1.
- 2.
- 3.
- 4.
- 5.
- 6.
- 7. 行列とは 行列とは、要素を長方形にならべてまとめたもの （横にn個、縦にm個。n, mは正整数。今日はn×n のn次正方行列のみ扱う。） ! 行列のi行j列にある要素のことを(i,j)-成分という ! 足し算と掛け算の計算のルールが定められている a11 !a1m ! aij ! an1 ! anm ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ 横向きに上から→ １行 ２行 ↓縦向きに左から １列２列…
- 8. 行列に定められる足し算 行列同士の足し算は、同じ位置にある数同士を足 して行う 縦横の数はそれぞれ一致している必要がある 引き算の場合も同様である a11 ! a1m !! an1 ! anm ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ + b11 ! b1m ! ! bn1 ! bnm ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ = a11 + b11 ! a1m + b1m ! ! an1 + bn1 ! anm + bnm ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟
- 9. c11 ! c1l !! cn1 ! cnl ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ = a11 ! a1m ! ! an1 ! anm ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ × b11 ! b1l ! ! bm1 ! bml ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ 行列に定められる掛け算 行列同士のかけ算は、答えの行列の(i,j)-成分が次 の式を満たすように行う ! cij = aik ⋅bkj k=1 m ∑
- 10. ! n次正方行列Aの固有値λとその固有ベクトルxは 次のように定まる ※λは複素数、X≠0 ! ! ! ! ! ! ! ! ! ! ! 固有値とは、重複を許してn個ある ! ! ! ! a11 ! a1n !! an1 ! ann ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ x1 ! xn ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ = λ x1 ! xn ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ 行列の固有値・固有ベクトル A⋅x = λ ⋅x
- 11.
- 12. ! ! ! ! ! ! ! ! の固有値と固有ベクトルを求める ! ! ! A = 8 1 45 ⎛ ⎝⎜ ⎞ ⎠⎟ 例）2次元のとき
- 13. ! ! ! ! ! ! より、 ! ! ! ! ! ! Ax − λx= 8 1 4 5 ⎛ ⎝⎜ ⎞ ⎠⎟ x1 x2 ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ − λ x1 x2 ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ = 0 0 ⎛ ⎝⎜ ⎞ ⎠⎟ x1 x2 ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ ≠ 0 0 ⎛ ⎝⎜ ⎞ ⎠⎟ 2次元のとき 8 1 4 5 ⎛ ⎝⎜ ⎞ ⎠⎟ − λ 1 0 0 1 ⎛ ⎝⎜ ⎞ ⎠⎟ ⎧ ⎨ ⎪ ⎩⎪ ⎫ ⎬ ⎪ ⎭⎪ x1 x2 ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ = 0 0 ⎛ ⎝⎜ ⎞ ⎠⎟
- 14. ! ! ! ! ! ! ! より、 ! ! ! ! を解く。 ! 2次元のとき 8 1 4 5 ⎛ ⎝⎜ ⎞ ⎠⎟− λ 1 0 0 1 ⎛ ⎝⎜ ⎞ ⎠⎟ ⎧ ⎨ ⎪ ⎩⎪ ⎫ ⎬ ⎪ ⎭⎪ x1 x2 ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ = 0 0 ⎛ ⎝⎜ ⎞ ⎠⎟ det 8 1 4 5 ⎛ ⎝⎜ ⎞ ⎠⎟ − λ 1 0 0 1 ⎛ ⎝⎜ ⎞ ⎠⎟ ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ = 0
- 15. ! ! ! ! ! ! ! ! ! ! ! ! 2次元のとき det 8 1 4 5 ⎛ ⎝⎜ ⎞ ⎠⎟− λ 1 0 0 1 ⎛ ⎝⎜ ⎞ ⎠⎟ ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ = det 8 − λ 1 4 5 − λ ⎛ ⎝⎜ ⎞ ⎠⎟ ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ = (8 − λ)(5 − λ)−1× 4 = (λ − 4)(λ − 9) = 0 λ = 4,9
- 16. のとき ! ! ! ! ! を解くと、 ! ! ! ! ! (tは任意の定数。t≠0)λ=9のときは省略 2次元のとき λ = 4 8 − 4 1 4 5 − 4 ⎛ ⎝⎜ ⎞ ⎠⎟ x1 x2 ⎛ ⎝ ⎜ ⎞ ⎠ ⎟ = 0 0 ⎛ ⎝⎜ ⎞ ⎠⎟ 4x1 + x2 = 0 t −1 4 ⎛ ⎝⎜ ⎞ ⎠⎟
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25.
- 26. ! データの持つ情報を落とさずに、 データの次元を落とすために、分 散が最大になる軸を探したい ! 分散共分散行列Σを考える ! ! ! ! ! ! ! :確率変数iの分散 ! :確率変数i, jの共分散 データの次元圧縮 = σ1 2 ! σ1n ! " ! σ1n ! σn 2 ⎛ ⎝ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ∑ σi 2 σ1n
- 27. ! ! Σの固有ベクトル Xi に対応する固 有値λi は式変形によって各ベクト ルに対応する分散とみなせ、この 分散が大きくなる固有ベクトルを 用いて次元の圧縮ができる ! 主成分分析などで用いられる ! ! ! ! ! ! ! データの次元圧縮
- 28.
- 29.
- 30.
- 31.
- 32. ネットワークを表す行列１ （隣接行列A） A B C D ネットワークを構成するメンバーを1からnまで順に番号付 け、n次正方行列を次の様に定める。 は、iとjのつながり の重みとする。 i-jの間につながりがあるとき i-jの間につながりがないとき ! aij = wij 0 ⎧ ⎨ ⎪ ⎩⎪ wij A B C D 0 1 0 0 1 0 0 0 0 0 0 1 0 0 1 0 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ A B C D
- 33. ネットワークを表す行列１ （重み付き隣接行列のバリエーション） A B C D 1 50 50 100 A B C D 0 1000 0 1 0 0 0 0 0 0 50 0 0 50 0 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ A B C D 1 2 3 4 5 6 0 1 0 1 0 1 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 1 0 0 0 1 0 1 0 1 0 1 0 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ 1 2 3 4 5 6
- 34. ネットワークを表す行列２ （次数行列D） A B C D 各メンバー i の重み付き次数 を次のように定め る ! ! ! ! Di = wij j=1 n ∑ Di A B C D 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ A B C D
- 35. グラフのラプラシアン （エッジの重みが１の場合） ラプラシアン行列Lを、 次数行列D-隣接行列Aと定義する A C D B 1 0 0−1 0 1 −1 0 0 −1 1 0 −1 0 0 1 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ A B C D A B C D 次数 隣接
- 36. グラフのラプラシアン （エッジの重みが１の場合） 対角成分は、つながっている辺の数 リンクがある場合：−１ それ以外：０ 今回は簡単のためエッジの重みが均等でない場合を考えています。 A C D B 1 0 0−1 0 1 −1 0 0 −1 1 0 −1 0 0 1 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ A B C D A B C D 詳しい解説はこちらなど：http://www.math.ucsd.edu/~fan/research/cb/ch1.pdf
- 37. スペクトラルクラスタリング 先程の行列の固有値・固有ベクトルを求 めると、λ=0となる場合がある ! ! ! ! ! ! ! 1 0 0−1 0 1 −1 0 0 −1 1 0 −1 0 0 1 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ x1 x2 x3 x4 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ = 0 × x1 x2 x3 x4 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ ⎟ = 0 0 0 0 ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ ⎟ ⎟ 詳しい解説はこちらなど：http://www.cs.cmu.edu/~aarti/Class/10701/readings/Luxburg06_TR.pdf
- 38. スペクトラルクラスタリング ! ! ! ! ! ! ! ! を解くと、 ! 固有ベクトルとして t(1,0,0,1), s(0,1,1,0)が取れる x1− x4 = 0 x2 − x3 = 0 −x2 + x3 = 0 −x1 + x4 = 0 ⎧ ⎨ ⎪ ⎪ ⎩ ⎪ ⎪ x1 − x4 = 0,x2 − x3 = 0 詳しい解説はこちらなど：http://www.cs.cmu.edu/~aarti/Class/10701/readings/Luxburg06_TR.pdf
- 39. ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! Ax = λx グラフの ラプラシアン 各グループ を構成する 要素 Aから メンバーの 部分集合を表すxを 求める スペクトラルクラスタリング 固有値問題を解くことでグラフの分割、 即ちデータのクラスタリングができる※ ! 固有値0に対応する固有ベクトルが連結 部分グラフの頂点集合（各クラスタを形 成するメンバーの集合）を示している。 ! ! 最近では、ラプラシアン行列を使わず deeplearningと合わせたアルゴリズム も開発されている ! ! Deep Spectral Clustering Learning MT Law (2017) ICML ! Similarity matrixの固有値計算から ! http://www.cs.toronto.edu/~law/publications/ ICML/2017/final_version.pdf ※厳密に分割できることは応用上少ないので、様々な工夫がなされている （次元圧縮してKmeans）
- 40.
- 41.
- 42.