[DL輪読会]Network Deconvolution
3 likes996 views
2020/06/26 Deep Learning JP: http://deeplearning.jp/seminar-2/
More Related Content
![[DL輪読会]GQNと関連研究，世界モデルとの関係について](https://cdn.slidesharecdn.com/ss_thumbnails/20180817-180827085537-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]When Does Label Smoothing Help?](https://cdn.slidesharecdn.com/ss_thumbnails/yokota20191227dl-191227001522-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]“SimPLe”,“Improved Dynamics Model”,“PlaNet” 近年のVAEベース系列モデルの進展とそのモデルベース...](https://cdn.slidesharecdn.com/ss_thumbnails/20190426akuzawa-190426020057-thumbnail.jpg?width=560&fit=bounds)
![[DL輪読会]Quantization and Training of Neural Networks for Efficient Integer-Ari...](https://cdn.slidesharecdn.com/ss_thumbnails/20180209misono-180209000316-thumbnail.jpg?width=560&fit=bounds)
More from Deep Learning JP (20)
![AIシステムのセキュリティ：脅威となりつつあるAIの現状と課題 [English] Security of AI Systems: The Current...](https://cdn.slidesharecdn.com/ss_thumbnails/20241023css2024-250829030738-876ce56e-thumbnail.jpg?width=560&fit=bounds)
[DL輪読会]Network Deconvolution
- 2. 2 • 画像の隣接するピクセルの情報が相関を持っている場合、それらは物体認識などのタスクをする上で 冗⻑な情報であり、CNNの訓練を難しくしている。 • 本論⽂では、CNNの各層の初めにこれらの相関を除去する操作（＝network deconvolution）を⼊れる ことで、特徴表現のスパース化を実現した。 • これによって、CNNの学習速度及び精度が向上することを確認した。 TL;DR
- 3. 3 • 筆者 – Chengxi Ye∗ , Matthew Evanusa, Hua He, Anton Mitrokhin, Tom Goldstein, James A. Yorke† , Cornelia Fermüller, Yiannis Aloimonos • 研究機関 – Department of Computer Science, University of Maryland, College Park • 学会 – ICLR 2020 • 6, 8, 8 書誌情報
- 4. CNNの各特徴量のpixelwise及びchannel wiseの両⽅の相関を無くすこと。 4 • 仮説：隣接するピクセル、また、チャンネル間の相関があることで、学習が難しくなる – 相関がある情報＝冗⻑な情報 • カメラに映る写真も、何かのフィルタがかかった結果だとすると、deconvできるはずでは？ 解きたい課題 Convolution: 𝑏 = 𝑘 ∗ 𝑥 = 𝐾𝑥 Deconvolution: 𝑥 = 𝐾!" 𝑏
- 5. 5 • ⽩⾊化 – データの要素間を相関をなくし、学習の効率化を狙う • 正規化 – データの偏りをなくし、学習の効率化を狙う • 特に、batch normalizationは、レイヤーの前に特徴量に処理を加える、と⾔う観点で似たことをやっている。 関連研究
- 7. im2colによって、畳み込みを⾏列計算として、𝑐𝑜𝑣"#.%で無相関の空間にXを⾶ばす 7 ⼿法 • Note – 𝑋 ' 𝑐𝑜𝑣!".$ = Zと⾒ると、𝑍% 𝑍 = 𝑐𝑜𝑣!".$ ' 𝑐𝑜𝑣 ' 𝑐𝑜𝑣!".$ = 𝐼で、確かに共分散⾏列が単位⾏列になっている。 – 図は１チャネルの例だが、複数チャネルの場合、その分Xの列が増える
- 8. 8 • CGや数値計算の分野で、研究の歴史があるそうです。 • 細かい説明は割愛します（というか理解してないです🙇） – 気になる⼈は元論⽂をチェック！ 𝑐𝑜𝑣!".$の求め⽅
- 9. 9 アルゴリズム
- 10. 10 • Fashion-MNISTをつかって、４つの条件で実験 – いずれもSGDやBatch Normalization(BN)に⽐べて、収束が早く精度も良い 結果
- 13. 13 • 霊⻑類の視覚野の多くの受容野は、中⼼-周囲型の⾏動を⽰す。霊⻑類の視覚野の中には、オンセン ター細胞と呼ばれる受容野があり、中⼼部に刺激が与えられ、かつ、その周囲の円の中で刺激が不⾜ しているときに最⼤に反応する。 • 図2に⽰すように、我々のデコンボリューションカーネルは、⾃然界に存在するような中⼼周囲型フィ ルタに強く似ている。 （translated by DeepL) ⽣物の視覚野との関係
- 14. 14 • ⼿法がシンプル。 • im2col賢い。 • いまいち、⽩⾊化（PCA、ZCA）との違いの整理がついていない – モチベーションは同じだが、固有値分解とかしてる部分を𝑐𝑜𝑣!".$を数値計算でダイレクトに解きにいってる、と⾔ う差？ 感想