Download as PDF, PPTX
![SVRGの威力
SVRG元論文[Johnson+ 2013]より
2017/02/03NIPS2016論文紹介 16](https://image.slidesharecdn.com/nips2016riemanniansvrgfaststochasticoptimizationonriemannianmanifolds-170218084852/75/NIPS2016-Riemannian-SVRG-fast-stochastic-optimization-on-riemannian-manifolds-16-2048.jpg)
Uploaded byTakami Sato
NIPS2016論文紹介 Riemannian SVRG fast stochastic optimization on riemannian manifolds
勉強会で枠が余ったら話そうと思ってたけどお蔵入りしたスライド。せっかく作ったので供養も兼ねてアップロード
More Related Content
![[DL輪読会]Non-Autoregressive Machine Translation with Latent Alignments](https://cdn.slidesharecdn.com/ss_thumbnails/20200522matsudatefinal-200529045007-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2022 [TS3] コンテンツ制作を支援する機械学習技術〜 イラストレーションやデザインの基礎から最新鋭の技術まで 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts32022ssiiess-220607054523-e80be8dc-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]逆強化学習とGANs](https://cdn.slidesharecdn.com/ss_thumbnails/irlgans-171128063119-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法](https://cdn.slidesharecdn.com/ss_thumbnails/os2-02final-210610091211-thumbnail.jpg?width=640&height=640&fit=bounds)
![[研究室論文紹介用スライド] Adversarial Contrastive Estimation](https://cdn.slidesharecdn.com/ss_thumbnails/acepub-181119101425-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to NIPS2016論文紹介 Riemannian SVRG fast stochastic optimization on riemannian manifolds
NIPS2016論文紹介 Riemannian SVRG fast stochastic optimization on riemannian manifolds
- 1. NIPS 2016論文紹介 Riemannian SVRG:Fast Stochastic Optimization on Riemannian Manifolds Takami Sato 2017/02/03NIPS2016論文紹介 1 Authors: Hongyi Zhang, Sashank J. Reddi and Suvrit Sra
- 2. 論文諭旨 • SVRGをリーマン多様体上の最適化に拡張（RSVRG） • 測地的凸関数の場合で、線形収束することを証明 –先行研究はGDの線形収束、SGDの劣線形収束 • 測地的非凸関数場合で、局所解に劣線形収束することを証明 – 先行研究は𝑂(1/𝜖2)だが本論文は𝑂(1/𝜖) • 勾配のノルムの上界が定数で抑えられる（Gradient Dominated）場合、 非凸でも大域的最適解に線形収束することを証明 • 主固有ベクトルを求める問題がGradient Dominatedな、 リーマン多様体上の最適化になることを証明 • PCAとRiemman centroidを求める問題に対して、 数値実験でRSVRGの優位性を検証 2017/02/03NIPS2016論文紹介 2
- 3.
- 4.
- 5. リーマン多様体とは 2017/02/03NIPS2016論文紹介 5 リーマン多様体 （Riemannianmanifold） 可微分多様体Mが、M上の各点における接空間に内積が与えられている場合 多様体 • 局所的にユークリッド空間とみなせる※空間 • 遠くはわからんが、生活する分には不自由ない空間的な雰囲気 • 昔の人は、平面上に住んでると思っていたがとくに不自由はなし 可微分 • なめらか • 局所的なユークリッド空間を滑らかになるように繋ぎ合わせた ※ユークリッド空間と同相
- 6. リーマン多様体とは 2017/02/03NIPS2016論文紹介 6 リーマン多様体 （Riemannianmanifold） 可微分多様体Mが、M上の各点における接空間に内積が与えられている場合 接空間（tangent space）に内積 • 多様体で“ちゃんとした”距離を定義したい • 接空間（各点の方向微分が貼る空間を集めた空間）が内積空間だ（計量が入ってる）と良い ユークリッド空間 上の滑らかな曲線𝑐の長さは以下 （始点を０、終点を１で表した曲線） 微分の長さが定義が必要 → 接空間で内積が定義
- 7. いろんなリーマン多様体とは 2017/02/03NIPS2016論文紹介 7 ドーナツ型 （よくあるRPGのマップ） 多様体に対して、接空間 （） が外側みたいに見えますが 多様体は外側の空間なしに定義することができます。不思議！ （ただし、閉多様体はユークリッド空間に埋め込める） 球面
- 8. 有限和 SGDは各反復でサンプルを母集団からサンプリング 降下方向の分散が大きい 収束させるためにステップサイズで調整するため収束が遅い ステップサイズ固定： 定数項が残って収束しない ステップサイズ減少： sub-linear収束 普通データサイズ有限なんだし、分散押さえて評価できるんじゃね？ （VarianceReduction テクニック） 線形収束証明できたわ 2017/02/03NIPS2016論文紹介 8 ← これがSVRG
- 9. SVRGが解ける問題 2017/02/03NIPS2016論文紹介 9 𝑓𝑖は平滑(smooth)かつ強凸（strongly convex）※後述 ※強凸性より ここだけなら 線形収束 こいつのせいで 収束が遅い
- 10. SVRGとは 正確には、 2017/02/03NIPS2016論文紹介 10 SAG 『線形収束したぞ』 SVRG『降下方向が、 勾配の普遍推定量になるようにしたぞ』 SAGA 『SAGとSVRGの中間的なの作ったぞ』
- 11. 各反復の計算方法 𝑥𝑡+1 = 𝑥𝑡− 𝛼 1 𝑛 ℎ𝑖 𝑡 𝑛 𝑖=1 𝑤𝑖𝑡ℎ ℎ 𝑡 𝑖 = 𝛻𝑓𝑖 𝑥𝑡 𝑖𝑓 𝑖 = 𝑖 𝑡 ℎ𝑖 𝑡−1 (𝑖𝑓 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒) 2017/02/03NIPS2016論文紹介 11 𝑥𝑡+1 = 𝑥𝑡 − 𝛼 1 𝑛 𝛻𝑓𝑖 𝑥 𝑛 𝑖=1 + 1 𝑛 𝛻𝑓𝑖 𝑡 (𝑥𝑡) − 𝛻𝑓𝑖 𝑡 𝑥 𝑥𝑡+1 = 𝑥𝑡 − 𝛼 1 𝑛 ℎ𝑖 𝑡 𝑛 𝑖=1 + 𝛻𝑓𝑖(𝑡) − ℎ𝑖 𝑡 𝑡 SAG （Stochastic Average Gradient） SVRG （Stochastic Variance Reduction Gradient） SAGA （略称謎） 各反復データ一個選んで降下方向を更新 適当なタイミングで𝛻𝑓𝑖 𝑥 をｎ個計算して、さらに各反復データ一個選んで降下方向を更新 SVRGの全部の勾配計算するところも、各反復で推定
- 12. 分散縮小（Variance Reduction） ある確率変数の分散を、相関のある別の確率変数で下げる。 MCMC法とかで使われてた手法らしい 2017/02/03NIPS2016論文紹介 12 𝑍𝛼 = 𝛼 𝑋 − 𝑌 + 𝐸(𝑌) 𝐸(𝑍 𝛼) = 𝛼𝐸 𝑋) + 1 − 𝛼 𝐸(𝑌期待値 𝛼 = 1なら Xの普遍推定量 𝑉(𝑍 𝛼) = 𝛼2(𝑉 𝑋) + 𝑉 𝑌 − 2𝑐𝑜𝑣(𝑋, 𝑌 )分散 𝛼 < 1なら 分散減少（SAG） SVRG: X ≔ 𝛻𝑓𝑖 𝑡 𝑥 𝑡 , 𝑌 = 𝛻𝑓𝑖 𝑡 𝑥
- 13. 収束性の速さ 最適化手法の良さを、 ε精度を得るまでの計算量のオーダーで評価 2017/02/03NIPS2016論文紹介 13 劣線形収束（sublinearconvergence） 1反復で1定割合で誤差が減る場合、ε精度に必要な反復数は O(log 1 𝜖 ) 線形収束（linear convergence） k反復で誤差が1/kに減る場合、ε精度に必要な反復数は O( 1 𝜖 ) 超線形収束（superlinear convergence） 線形収束より速い収束率 （一定割合でなくもう少し早く減る場合） 2次収束（Second-order convergence） 1反復で反復数の2乗割合で誤差が減る場合、反復数は O(loglog 1 𝜖 )
- 14. 各種アルゴリズムの収束性 有限和凸関数に各種手法の収束性は以下、nはデータ数、𝜅は条件数※後述 2017/02/03NIPS2016論文紹介 14 リプシッツ連続かつ強凸 最急降下法 𝑛𝜅⋅ log( 1 𝜖 ) Nesterovの加速勾 配降下法 𝑛 𝜅 ⋅ log( 1 𝜖 ) 確率的勾配降下法 𝜅 𝜖 SVRG 𝑛 + 𝜅 log( 1 𝜖 ) データが多いとき、 計算量を削減
- 15.
- 16.
- 17. リーマン多様体上での最適化 • 接ベクトル方向に進むと、多様体からはみ出る • SVRGの主要アイデア過去の勾配との足し算ができない 2017/02/03NIPS2016論文紹介 17 問題点 解決法 • 点𝑥の接空間𝑇𝑥 𝑀から𝑀への写像（レトラクション）を定義 – 多様体上でそれっぽい進行方向を得る • SVRGの主要アイデア 過去の勾配との足し算ができない – 𝑇𝑥 𝑀から𝑇𝑦 𝑀への写像を定義して、過去の勾配は今の接空間に移す
- 18. リーマン多様体上での最適化 • 接ベクトル方向に進むと、多様体からはみ出る • SVRGの主要アイデア過去の勾配との足し算ができない 2017/02/03NIPS2016論文紹介 18 問題点 解決法 • 点𝑥の接空間𝑇𝑥 𝑀から𝑀への写像（レトラクション）を定義 – 多様体上でそれっぽい進行方向を得る • SVRGの主要アイデア 過去の勾配との足し算ができない – 𝑇𝑥 𝑀から𝑇𝑦 𝑀への写像を定義して、過去の勾配は今の接空間に移す 結局、制約の空間に射影しているので、 実用レベルでは射影勾配降下法と 変わらないかも
- 19. この論文での設定 • レトラクションとして写像を構成せずに指数写像があることを仮定 • 接空間間の写像も陽に定義せず、性質のみ議論 2017/02/03NIPS2016論文紹介19 指数写像 測地線 （始点がゼロ、終点が1で最短距離を通る線） に対して、下記を満たす測地線が存在する写像 もし任意の2点で測地線が一意に定まる場合、逆写像が存在し、 の が測地的距離 Parallel Transport これで勾配間の足し算ができる
- 20.
- 21. 測地的凸関数の場合で線形収束 2017/02/03NIPS2016論文紹介 21 • 条件数𝜅≔ 𝐿/𝜇が2乗で収束性に影響 • 多様体が負の曲率を保つ場合に大きくなる𝜁が収束性に影響
- 22. 証明の注意点 • 普通のSVRGの収束性解析では、 勾配の2乗を の項で押さえられたが、 RSVRGでは最適解との距離で抑えた •（リプシッツ連続の性質があれば の補題になおせる） 2017/02/03NIPS2016論文紹介 22
- 23.
- 24.
- 25. 測地的非凸関数が勾配優位のとき大域的最適解に線形収束 線形収束していて、 2017/02/03NIPS2016論文紹介 25 μ-strongly g-convexな関数はgradientdominatedなので 多様体が負の曲率を保つ場合に大きくなる𝜁 ≥ 1 の影響が小さくなって 何故かこっちから測地的強凸のケースを証明すると、 曲率の影響が弱まって、条件数の影響も弱まっている！！！
- 26.
- 27.
- 28.
- 29. この問題𝑂 1/𝛿 で解けるか 2017/02/03NIPS2016論文紹介29 𝑂 1/𝛿 でとけると考えられているが、 今のところ𝑂 1/𝛿2 の証明しかわかっていないらしい y軸は精度が2倍になるのに必要なepoch（外部ループ）数 色はepochレンジに対応。epochが進むと線形になっているっぽい
- 30. 数値実験： Riemman centroid 𝐴𝑖は半正定値行列 2017/02/03NIPS2016論文紹介30 Riemman centroid • この問題はユークリッド空間だと非凸だが • リーマン多様体上だと測地的強凸の最適化
- 31. 数値実験： Riemman centroid 𝐴𝑖は半正定値行列 2017/02/03NIPS2016論文紹介31 Riemman centroid 行列サイズは100×100 • RSVRGが圧勝 • 準ニュートン法系の手法も試したが遅すぎて載せていない
- 32. まとめ＆議論 • SVRGをリーマン多様体上に初めて拡張 • 凸、強凸、非凸の場合の収束性を解析 •勾配優位の場合に大域的収束性を証明 – より一般にリーマン多様体上で大域的収束性を保証できる問題群を一般 化できる可能性 • リーマン多様体上のよくあるテクニックを使った解析をしていない – レトラクションやVector transportなど 2017/02/03NIPS2016論文紹介 32 議論 まとめ