Downloaded 45 times
![GAN
• 生成器はなるべく本物に近い画像を生成し, 識
別器はなるべく本物を見分けられるように学習
させる
• 「生成画像の本物らしさ」を識別器に評価させ
ているところがポイント
2019/4/6 Shion HONDA 12
[2] The GAN Zoo](https://image.slidesharecdn.com/cvpaper0406-190406004504/75/9-12-2048.jpg)
![他の生成モデル
• VAE
• encoder-decoder
• 対数尤度のELBO(変分下限)の最大化
• 分布に関して正則化をかけながら再
構成誤差を小さくする
→学習が安定している
• 生成画像がぼやけがちと言われている
• 自己回帰モデル
• PixelRNN
• Flowベース
• Glow
2019/4/6 Shion HONDA 13
[3]](https://image.slidesharecdn.com/cvpaper0406-190406004504/75/9-13-2048.jpg)
![StyleGAN*
• 潜在変数zを一度別の空間Wにマッピング(FC)
→18層のSynthesis Networkへ入力
• 各層に入力するwを途中で切り替えることでス
タイルミックスが可能
• Mapping Networkは潜在変数z
のdisentanglementを担う
2019/4/6 Shion HONDA 17
[6]](https://image.slidesharecdn.com/cvpaper0406-190406004504/75/9-17-2048.jpg)
![参考文献
2019/4/6 Shion HONDA 31
[1] 原田, 画像認識, 講談社, 2017.
[2] The GAN Zoo
GANの名前がついた論文のリスト.
[3] Variational Autoencoder徹底解説 – Qiita
図が豊富でとても親切.
[4] Z. Pan et al., Recent Progress on Generative Adversarial Networks
(GANs): A Survey, IEEE, 2019.
知る限り最新のサーベイ資料. なぜかNVIDIAがスルーされている.
[5] 鈴木, GAN（と強化学習との関係）, 2017.
理論についても丁寧に解説されている.
[6] Style-based GANs – Generating and Tuning Realistic Artificial Faces
| Lyrn.AI
[7] 何をしたいかで有名どころのGANの種類、派生を整理 – Urusu Lambda
Web
[9]はじめてのGAN](https://image.slidesharecdn.com/cvpaper0406-190406004504/75/9-31-2048.jpg)
![参考文献
2019/4/6 Shion HONDA 32
[10] テキストから画像を生成するGANまとめ - akmtn記録
[11] FCN (Fully Convolutional Network)：ディープラーニングによる
Semantic Segmentation手法 | NegativeMindException
SegNetとU-Netの解説もありました.](https://image.slidesharecdn.com/cvpaper0406-190406004504/75/9-32-2048.jpg)
![[DL輪読会]Toward Multimodal Image-to-Image Translation (NIPS'17)](https://cdn.slidesharecdn.com/ss_thumbnails/20180427-180514071433-thumbnail.jpg?width=640&height=640&fit=bounds)
![[IBIS2017 講演] ディープラーニングによる画像変換](https://cdn.slidesharecdn.com/ss_thumbnails/ibis2017iizuka-171120134119-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation](https://cdn.slidesharecdn.com/ss_thumbnails/0911mocogan-170911121936-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会] GAN系の研究まとめ (NIPS2016とICLR2016が中心)](https://cdn.slidesharecdn.com/ss_thumbnails/dliwasawagansurvey-161220014753-thumbnail.jpg?width=640&height=640&fit=bounds)
![[論文紹介] Convolutional Neural Network(CNN)による超解像](https://cdn.slidesharecdn.com/ss_thumbnails/cnn-presen-161218113749-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images](https://cdn.slidesharecdn.com/ss_thumbnails/hologanslideshare-190906010228-thumbnail.jpg?width=640&height=640&fit=bounds)
画像認識 第9章 さらなる話題
- 1.
- 2. 概要 • セマンティックセグメンテーション • 画像キャプション生成 •画像生成とGAN(本発表のメイン) 2019/4/6 Shion HONDA 2
- 3. 自己紹介 2019/4/6 Shion HONDA3 • 医学系の研究室でAI創薬をしています • NLP/CVも勉強中 • 勉強したことを発信しています！ • 趣味: 音楽鑑賞, 料理, 旅行, サッカー, 水泳など • SFと神経科学も好き
- 4.
- 5. Semantic Segmentation • 物体の輪郭検出+認識 •encoder-decoderを利用 • encoderのプーリングなどで特徴マップの空間情報 は失われている →decode (upsample)しないと低解像度のまま • upsamplingの方法が大事 2019/4/6 Shion HONDA 5
- 6. 転置畳み込み(逆畳み込み) 2019/4/6 Shion HONDA6 pad=1, stride=2 • 特徴マップを拡大する方法 • 画像生成で一般的に使われる • pixel shufflingという方法もある • 間を0で埋めて拡大後, 通常の畳 み込み • 「転置畳み込み」と呼ばれる理 由は, 教科書の行列表現を参照 • 畳込み: (4,1) = (4,16) × (16,1) • 転置畳込み: (16,1) = (16,4) × (4,1)
- 7. SegNet • segmentationで使われる代表的なモデル • 全結合は使わない •Encoderのプーリングで採用される画素の位置を記 録しておく →unpooling層では記録してい た位置以外を0で埋める →パラメータが増えない！ • 特徴マップの拡大をunpooling で行う特殊な転置畳み込み 2019/4/6 Shion HONDA 7
- 8. その他のモデル • Fully ConvolutionalNetwork (FCN) • decodeを通常の転置畳み込みで行う • 全結合の代わりに1×1の畳み込み • encoderの特徴マップをdecoderの特徴マップに足 し合わせる • U-Net • encoderの特徴マップをdecoderの特徴マップに結 合させる 2019/4/6 Shion HONDA 8 FCN (Fully Convolutional Network)：ディープラーニングによるSemantic Segmentation手法 | NegativeMindException
- 9.
- 10. Neural Image Caption •Show and Tell: A Neural Image Caption Generator • Vinyals+, 2015, CVPR • CNNで画像をencodeし, LSTMで文章にdecode • クロスモーダルな「翻訳」(intelligentな感じがしま せんか？) 2019/4/6 Shion HONDA 10
- 11.
- 12. GAN • 生成器はなるべく本物に近い画像を生成し, 識 別器はなるべく本物を見分けられるように学習 させる •「生成画像の本物らしさ」を識別器に評価させ ているところがポイント 2019/4/6 Shion HONDA 12 [2] The GAN Zoo
- 13. 他の生成モデル • VAE • encoder-decoder •対数尤度のELBO(変分下限)の最大化 • 分布に関して正則化をかけながら再 構成誤差を小さくする →学習が安定している • 生成画像がぼやけがちと言われている • 自己回帰モデル • PixelRNN • Flowベース • Glow 2019/4/6 Shion HONDA 13 [3]
- 14. DCGAN 2019/4/6 Shion HONDA14 • Deep Convolutional GAN • 生成器と識別器をCNNで設計 →学習の安定化とより高解像(100px^2くらい)な画 像の生成に成功 • 実装がたくさん落ちていて人気 ベッドルーム 寿司
- 15. 学習方法 • Unrolled GAN •先に識別器のパラメータ更新をK回行い, その損失 で生成器のパラメータを更新 • その後識別器のパラメータは1回更新時に戻す • 賢い識別器で生成器を導くイメージ • WGAN • Wasserstein距離: 砂山pをqへ移すときの最小コス ト • 生成器の目的関数をJS距離でなくW距離とする • WGAN-GP • スペクトル正規化 • 重みをL2ノルムで正規化→Lipschitz連続性 2019/4/6 Shion HONDA 15 W距離 gradient penalty
- 16. 高解像度での生成 • PGGAN* • 学習が進むのに合わせ て徐々に層を深くしな がら,与える画像も高 解像度にしていく (progressive growing) • ミニバッチ標準偏差 • 1024px^2の画像の生 成に成功 • CelebA-HQ公開 2019/4/6 Shion HONDA 16 • BigGAN • Self Attention GANの モデルを拡大 • その他, 階層的潜在空 間などのテクニック BigGAN TF Hub Demo – Colaboratory でImageNetの画像を生成できる. スマホでもGAN!
- 17. StyleGAN* • 潜在変数zを一度別の空間Wにマッピング(FC) →18層のSynthesis Networkへ入力 •各層に入力するwを途中で切り替えることでス タイルミックスが可能 • Mapping Networkは潜在変数z のdisentanglementを担う 2019/4/6 Shion HONDA 17 [6]
- 18.
- 19.
- 20. クラス指定 • CGAN • 入力にラベルベクトルを 含めて生成画像のクラス をコントロール •InfoGAN • ラベルyと生成画像xの相互情報量が高くなるように 学習→ラベルとノイズのdisentanglement • ACGAN • 識別器にauxiliary classifierを追加し, クラス分類も 行わせる • 良い生成画像は識別しやすいはず 2019/4/6 Shion HONDA 20 今さら聞けないGAN（6） Conditional GANの実装 - Qiita
- 21. 画像変換 • pix2pix • 教師ペアが必要な2ドメイン間の 変換 •U-NetをConditional LossとL1損 失で訓練 • CycleGAN • ペア不要の2ドメイン間の変換 • U-NetをCycle Lossなどで訓練 (変換→逆変換で元に戻るか) • StarGAN • マルチドメイン間の変換 • cycle consistencyを工夫して, 生 成器/識別器を1つずつで実現 2019/4/6 Shion HONDA 21
- 22. 画像変換 • Video-to-Video Synthesis* •直前の画像で条件付けて動画 を生成 • Optical flowも生成・識別 • ペアの動画が必要 • SPADE* • SPatially-Adaptive (DE)normalization • BNのパラメータ𝛾, 𝛽(テンソ ル)の値をラベルによって変 える 2019/4/6 Shion HONDA 22 恋ダンス
- 23.
- 24.
- 25. 超解像 • Super-Resolution GAN •GANの生成画像はボケにくい • 通常の損失にVGGによる perceptual lossも追加 • Enhanced SRGAN • Residual in Residual Dense Blockを利用 2019/4/6 Shion HONDA 25
- 26.
- 27. text-to-image • StackGAN • CGANの条件を文章の潜在表現で与える •Stage-Iで64px^2の粗い画像を生成 • Stage-IIで256px^2にrefine • ネットワークを改良したStackGAN++もある 2019/4/6 Shion HONDA 27
- 28. 評価指標 • Inception score(IS) • 生成画像が学習済みInceptionネットワークで識別 しやすいほど, またラベルの事前確率が均等である ほど低くなる(低いほど良い) • モード崩壊に対応していない • 簡単なのでよく使われる • Frechet inception distance (FID) • 真の分布と生成分布とのFrechet距離(小さいほど良 い) • Multi-scale structural similarity (MS-SSIM) • 複数のスケールで画像間の類似度を評価 →多様性の指標になる 2019/4/6 Shion HONDA 28
- 29. Google Brainによるメタ分析 • AreGANs Created Equal? (2017 Nov.) • 様々に提案される手法を公平に比較 • 十分なハイパラ探索をすればどの手法でも同程度の FIDが得られた • The GAN Landscape (2018 Jul.) • 損失, アーキテクチャ, 正則化, 正規化の組を探索 • Non-saturating lossとスペクトル正規化が有効 2019/4/6 Shion HONDA 29
- 30. まとめ • 高解像度での画像生成が可能になってきた • 潜在空間を操ることも可能になりつつある •課題 • モード崩壊 • 学習の安定化 • 評価指標の確立 • 出力画像のコントロール • 応用先 • 広告やアートなどクリエイティブ系 • VR/AR • 異常検知 • NVIDIAすごい • 論文が読みやすい(ネットワーク芸になりがち？) • できるだけ多くのデータセットでの検証とablation studyをしましょう 2019/4/6 Shion HONDA 30
- 31. 参考文献 2019/4/6 Shion HONDA31 [1] 原田, 画像認識, 講談社, 2017. [2] The GAN Zoo GANの名前がついた論文のリスト. [3] Variational Autoencoder徹底解説 – Qiita 図が豊富でとても親切. [4] Z. Pan et al., Recent Progress on Generative Adversarial Networks (GANs): A Survey, IEEE, 2019. 知る限り最新のサーベイ資料. なぜかNVIDIAがスルーされている. [5] 鈴木, GAN（と強化学習との関係）, 2017. 理論についても丁寧に解説されている. [6] Style-based GANs – Generating and Tuning Realistic Artificial Faces | Lyrn.AI [7] 何をしたいかで有名どころのGANの種類、派生を整理 – Urusu Lambda Web [9]はじめてのGAN
- 32. 参考文献 2019/4/6 Shion HONDA32 [10] テキストから画像を生成するGANまとめ - akmtn記録 [11] FCN (Fully Convolutional Network)：ディープラーニングによる Semantic Segmentation手法 | NegativeMindException SegNetとU-Netの解説もありました.