Download to read offline
![elman.py によるペアワーク
コマンドライン引数
--activate_f 活性化関数 [tanh|logistic|relu|elu]
--grad_clip 勾配クリップ
--hidden 中間層のニューロン数
--lr 学習係数
--max_iter 最大繰返し数
--sample_n 予測する単語数
--seed 乱数の種
--seq_length 系列長--snapshot_t スナップショットの間隔
--train 訓練データファイル名](https://image.slidesharecdn.com/rnncamp01-160720235532/75/Rnncamp01-34-2048.jpg)
![[DL輪読会]Neural Ordinary Differential Equations](https://cdn.slidesharecdn.com/ss_thumbnails/nnasode1-190111001755-thumbnail.jpg?width=640&height=640&fit=bounds)
Rnncamp01
- 1. RNN camp #1 浅川伸一Shin Asakawa <[email protected]>
- 2. 注意事項 ● 本日のトークでは途中でペアワーク，グループワークを行ない ます。隣の席に座っている方と簡単な自己紹介をしてお互い に面通ししてください。 ● GitHubからダウンロードをお願いしますhttps://github. com/ShinAsakawa/rnncamp.git ● Python, C++ コンパイラはインストールされていますか？ ○ pip install --upgrade autograd ○ pip install --upgrade termcolor
- 3. 謝辞 ● KUNO 佐藤傑様 ●C8 lab 新村拓也様 ● Google 佐藤一憲様
- 4. 本日の予定 19:00 - 19:10自己紹介，進め方についての注意事項 19:10 - 19:50 リカレントニューラルネットワークの概要 19:50 - 20:00 休憩 20:00 - 20:40 バックプロパゲーションスルータイム 20:40 - 21:00 実習と質疑応答
- 5. メニュー 1. 自己紹介 2. RNNcamp 計画(案) 3. RNN camp #1 3.1. リカレントニューラルネットワークとは何か 3.2. リカレントニューラルネットワークの最近の成果 3.3. 古典的リカレントニューラルネットワーク 3.4. ミコロフ革命 3.5. バックプロパゲーションスルータイム
- 6.
- 7. 自己紹介 浅川伸一 博士(文学) 東京女子大学情報処理センター勤務。早稲田大学在学時はピアジェの発生 論敵認識論に心酔する。卒業後エルマンネットの考案者ジェフ・エルマンに師事，薫陶を 受ける。以来人間の高次認知機能をシミュレートすることを通して知的であるとはどうい うことかを考えていると思っていた。著書に「ディープラーニング，ビッグデータ，機械学 習あるいはその心理学」(2015)新曜社。「ニューラルネットワークの数理的基礎」「脳損 傷とニューラルネットワークモデル，神経心理学への適用例」いずれも守一雄他編「コネ クショニストモデルと心理学」(2001) 北大路書房など
- 8.
- 9.
- 10. RNN camp の諸元 ●プロジェクトページhttp://www.cis.twcu.ac. jp/~asakawa/rnncamp/ ● ソースコードhttps://www.github. com/shinasakawa/rnncamp ● ハッシュタグ #rnncamp
- 11. 2. RNN camp計画(案)
- 12. RNN camp 今後の計画 ●第1回 SRN, BPTT, 確率的勾配降下法(今回) ● 第2回 LSTM, GRU, BiRNN, 最適化，正規化，勾配消失／爆 発問題(8月または9月) ● 第3回 NIC, text2image, 注意の導入，1ショット／0ショット学 習，画像チューリングチャレンジ(9月または10月) ● 第4回 QA システム, 画像QA システム, ニューラルチューリン グマシン, ニューラルGPU, メモリーネットワーク(10月または 11月)
- 13. 告知（別プロジェクト） ● TensorFlowと機械学習に必要な数学を基礎から学ぶ会 ● 開催時期 ○2016年8月下旬開始予定。隔週または3週毎のウィークディ19時から21時くら い ● 開催場所 未定（おそらく都内） ● 対象者 機械学習に強い興味を抱く初心者 ● 参加費 無料 ● Google+ のコミュニティ Math primer for TensorFlow ja で案内、告知、募集 （「Tensorflow と機械学習を理解するための涙なしの数学入門」は却下された）ま たは [email protected] へ申し込み希望メールを送る
- 14.
- 15. 3.1.1. 知性とは 知性 ≒学習能力，知性 ≒ 予測能力，知性 ≒ 状況判断力 ● 画像分類：教師あり学習，損失関数の最小化 max p(ラベル|画 像) ← 深層フィードフォワード型ニューラルネット ● 系列情報処理（言語情報処理）： 系列予測 max p(xt | xt-1 , xt-2 , ...) ←リカレントニューラルネットワーク 今まで観察してきた事実（履歴）から次に起こる事象を予測 ● 強化学習 ：報酬予測を学習信号とする
- 16. 3.1.2. リカレントニューラルネットワークの仲間 ● アトラクターネットワーク ●ホップフィールドネットワーク ● エコーステートネットワーク ● ボルツマンマシン（制限付きではない方） ● ...
- 17. 3.1.3 ヒントン先生曰くhttps://www.youtube.com/watch?v=VhmE_UXDOGs ● 任意の文章を思考ベクトルへ変換，文書とは思考ベクトルの 系列 ●深層リカレントニューラルネットワークによる思考ベクトル系列 の学習 推論，理解へ到達する可能性 ● 人間のレベルの理解に到達するためには数億，数兆のニュー ロンが必要 古典的統計学：雑音除去 ----> AI：分布の学習
- 18. 3.1.4. リカレントニューラルネットワークの特徴 1) 過去の状態を保持する中間層 2)非線形性 3) 深層化（多層化） しかし... 1980年代からの論文を紐解くと，黒魔法の数々 勾配チェック，勾配クリップ，勾配正規化，忘却バイアス，様々な 初期化／正規化／正則化
- 19. 3.1.5. 近年の進歩 1. 黒魔法が整備 2.演算速度が向上した 3. 記憶容量が増大した 4. 内部状態（短期記憶）を（長期的に）保持する素子（長期の短 期記憶 Long Short-Term Memory: LSTM), GRU 5. 従来手法を凌駕 NLP, MT, V-QA, NIC,... 6. LSTMを基本素子としてネットワーク構造の作り込み ：NTM，Neural GPU, Memory Network などの発展
- 20. 3.1.6. 系列情報を扱う手法の比較 ● 内部状態無しモデル ○自己回帰モデル AR ≒ NetTalk, ベンジオ(2003) ● 内部状態有りモデル： ○ 隠れマルコフモデル HMM ○ 線形力学系モデル Linear dynamical systems ■ データ同化，カルマンフィルター
- 21.
- 22.
- 23.
- 24.
- 25. リカレントニューラルネットワークの成果(SOTAを含む) 1. 手書き文字認識(Graves etal., 2009) 2. 音声認識(Graves & Jaitly, 2014; Graves, Mohamed, & Hinton, 2013) 3. 手書き文字生成(Graves, 2013) 4. 系列学習(Sutskever, Vinyals, & Le, 2014) 5. 機械翻訳(Bahdanau, Cho, & Bengio, 2015; Luong, Sutskever, Le, Vinyals, & Zaremba, 2015) 6. 画像脚注付け(Kiros, Salakhutdinov, & Zemel, 2014; Vinyals, Toshev, Bengio, & Erhan, 2015) 7. 構文解析(Vinyals et al., 2015) 8. プログラムコード生成(Zaremba & Sutskever, 2015)
- 26. Actor is Schmithuberwho proposed LSTM https://www. youtube.com/watch?v=-OodHtJ1saY
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33. 1. カルパセィさんの min-char-rnn.py 2.拙作 elman.py 暴力的に画面にグラフを描画します 3. 1 は文字レベルのエルマンネット，２は単語レベルのエルマンネットです。 4. 一般に日本語の言語モデルでは分かち書きの前処理が必要 5. だが文字レベルのリカレントニューラルネットワークで従来手法を上回る性 能のモデルが報告されている(Chung et al.2016) 軽く実習
- 34. elman.py によるペアワーク コマンドライン引数 --activate_f 活性化関数[tanh|logistic|relu|elu] --grad_clip 勾配クリップ --hidden 中間層のニューロン数 --lr 学習係数 --max_iter 最大繰返し数 --sample_n 予測する単語数 --seed 乱数の種 --seq_length 系列長--snapshot_t スナップショットの間隔 --train 訓練データファイル名
- 35. elman.py によるペアワーク ペアを組んだ相手と同じ条件で 活性化関数logistic と tanh とを 比較する 他の条件を変更して学習結果を確認する 損失関数が小さくなった方が勝ち LeCun のレシピ論文以来 logistic 関数の替わりに tanh を 用いるのがスタンダードであった(2012年までは)
- 36. 今や 整流線形ユニットReLU，指数線形ユニットelu Clevert, Unterthiner& Sepp Hochreiter(2016) ReLU は Krizensky(2012) で有名
- 37.
- 38. Tomas Mikolov @NIPS2015 RAM ワークショッ プにて RAM：reasoning, attention, and memory
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47. 3.4.5 ミコロフ革命 N-グラム言語モデル 文脈hの中で単語w が何回出現したかをカウント。 観測した全ての文脈h で正規化
- 48. 3.4.6 ミコロフ革命 N-グラム言語モデル 類似した言語履歴hについて, N-gram 言語モデル は言語履歴h が完全一致することを要請 実用的には，N-gram 言語モデルはN 語の単語系 列パターンを表象するモデル N-gram 言語モデルではN の次数増大に従って，パ ラメータは指数関数的に増大する
- 49. 3.4.7 ミコロフ革命 N-グラム言語モデル 類似した言語履歴hについて, N-gram 言語モデルは言語履歴h が完全一致することを 要請。 実用的には，N-gram 言語モデルはN 語の単語系列パターンを表象するモデル N-gram 言語モデルでは N の次数増大に従って，パラメータは指数関数的に増大す る。 パラメータ推定に必要な言語情報のコーパスサイズは，次数増大に伴って，急激に増大 する
- 50. 3.4.8 ミコロフ革命 RNN言語モデル スパースな言語履歴h は低次元空間へと射影される。類似した言 語履歴は群化する 類似の言語履歴を共有することで，ニューラルネットワーク言語モ デルは頑健(訓練データから推定すべきパラメータが少ない)
- 51. 3.4.9 ミコロフ革命 RNN言語モデル スパースな言語履歴h は低次元空間へと射影される。類似した言 語履歴は群化する 類似の言語履歴を共有することで，ニューラルネットワーク言語モ デルは頑健(訓練データから推定すべきパラメータが少ない)
- 52.
- 53.
- 54.
- 55.
- 56.
- 57. 3.4.14 ミコロフ革命 RNNLM f(x) はロジスティック関数，g (x) はソフトマックス関数。最近のほとんど のニューラルネットワークと同じく出力層にはソフトマックス関数を用 いる。出力を確率分布とみなすように，全ニューロンの出力確率を合わ せると1となるように
- 58. 3.4.15 ミコロフ革命 RNNLMの学習 時刻tにおける入力層から中間層への結合係数行列U は，ベクトル s (t) の更新を以下のようにする。 時刻t における入力層ベクトルw(t) は，一つのニューロンを除き全て 0 である。上式の ように結合係数を更新するニューロンは入力単語に対応する一つのニューロンのそれを 除いて全て0 なので，計算は高速化できる。
- 59.
- 60.
- 61.
- 62. 3.4.17 ミコロフ革命 BPTT(4) 活性化関数がロジスティック関数f (x) =(1 + exp (-x))^-1 で あれば、その微分は f′ (x) = x (1 - x) であった。ハイパータン ジェント ϕ (x) =(exp(x) - exp(-x)/(exp(x) + exp(-x))であれば ϕ′ (x) = (1-x^2)であるから、いずれの活性化関数を用いる場 合でもニューロンxの値域（取 りうる値）が 0<= x <= 1 である限り、ロジスティック関数であ れハイパータンジェント関数であれ、元の値より 0 に近い値と なる。これと反対の現象勾配爆発問題が起きる可能性があ る。
- 63. 3.4.18 ミコロフ革命 BPTT(5) 再帰結合係数行列W の更新には次の式を用いる 行列W の更新は誤差が逆伝播するたびに更新されるのでは なく、一度だけ更新する。
- 64.
- 65. Code: ● Recurrent NeuralNetwork Language Model http://www.fit.vutbr.cz/~imikolov/rnnlm/ ● Word2vec: https://github.com/dav/word2vec 実習ミコロフのコードを読んでみよう
- 66. 補足 お伝えし忘れました。ミコロフの rnnlm をちゃんと評価するためには Srilm-toolkitが必要になります。GitHub のREADME.MD には書いておきましたが口 頭でお伝えするのを忘れました。以下にURLを示します。http://www.speech.sri. com/projects/srilm/download.html 利用するには，ID を登録する必要があります。
- 67. 補足２モデルアンサンブル 1. 質問のあったモデルのアンサンブルについて 2. 同じモデルを，異なる初期化，交差検証データセット，ハイパーパラメータで実行す る方が性能が出ます。 3.検証データセットを変えるとモデルの評価が変わるので他のパラメータが同じでも 異なるモデルができあがります。 4. 異なるハイパーパラメータで学習したモデルをアンサンブルするか，ハイパーパラ メータの平均値を用いて新たなモデルを訓練するかなど方法が提案されています。 http://cs231n.github.io/neural-networks-3/#ensemble
- 68. おわりに 参加してくださった皆様，ありがとうございました。 このプロジェクト RNN campのプロジェクトページを立ち上げました。 ご意見をお寄せください メールアドレス： [email protected] プロジェクトホームページ：http://www.cis.twcu.ac.jp/~asakawa/rnncamp