自然言語処理を 役立てるのはなぜ難しいのか（2022/10/25東大大学院「自然言語処理応用」）

自然言語処理を 役立てるのはなぜ難しいのか（2022/10/25東大大学院「自然言語処理応用」）

• 1.
  自然言語処理を 役立てるのはなぜ難しいのか Preferre Networks 海野 裕也
• 2.
  2 2008: 東大情報理工修士、自然言語処理 2008-2011: 日本アイ・ビー・エム（株）東京基礎研究所 2011-2016:Preferred Infrastructure ● 分散機械学習Jubatus、自然言語処理、テキスト解析 2016: Preferred Networks ● OSS: Chainer、CuPy ● 対話、ロボット、物流ロボット、流通・小売 自己紹介：海野 裕也
• 3.
  3
• 4.
  Preferred Networks 現実世界を計算可能にする
• 5.
  5 テキストマイニングは Nice to haveである
• 6.
  6 Q: 身の回りで自然言語処理の 技術を使ったサービスは？
• 7.
  7 Q: その中で、月1000円以上 払ったものは？
• 8.
  8 プロフェッショナル向けより一般人向けを
• 9.
  9 ● SIGRAPH 2013のUCLAと ディズニーの論文 ●雪のシミュレーション ● どこからどうみても、 2013年にヒットしたあの 映画で使われている技術 社会に影響を与える研究開発
• 10.
  10 10年くらい考えてきたことを話します お金を払ってまで使っている自然言語 処理のツールは非常に少ない。 何故か？
• 11.
  11 自然言語処理はなぜ難しい
• 12.
  12 ● 研究と開発の質的な違いとは ● 言語処理固有の難しさとは ●言語処理の社会応用を考える鍵は 今日考えたいこと
• 13.
  13 自然言語処理に関して色んなことが言われている 近年の自然言語処理技術の発展は目まぐるしい 10年前に出来なかったことが出来るようになった 深層学習がブレークスルーをもたらした
• 14.
  14 研究と製品の致命的な違い 研究の仮想敵は研究者 製品の仮想敵は代替手段
• 15.
  15 （他の研究に比べて）すごい研究であることと、 （他の手段に比べて）役に立たないこと、 が両立する 研究の罠
• 16.
  16 Q: 言語処理における代替手段とは？
• 17.
  17 言語処理の代替手段は人間
• 18.
  18 言語の正しさは、ふつう母語話者を基準に考える 走る速度、持てる重さ、記憶できる量を超える機械を 作れても、機械が人より流暢な言語を持つことはでき ない 「言語」の意味で人間を超えることができない
• 19.
  19 言語そのもので勝負しない
• 20.
  20 精度よりも量や速度が重要 量 速度
• 21.
  21 さきほどでてきた例の大半は、 量か速度が重要（になっていたはず）
• 22.
  22 文脈がゲームを変える
• 23.
  23 社会の変化に便乗する 「令和３年通信利用動向調査」総務省より 数年でスマートフォンが急速に伸びた
• 24.
  24 なんのためにことばを使うのか
• 25.
  25 言語そのものが道具である 言語 背後の 問題
• 26.
  26 言葉そのものの意義を考える 書き言葉 知識の蓄積 話し言葉 意図の伝達 ・新聞、本、Web ・検索や解析など、知識の利用が目的 ・会話、指示、交渉 ・意図や指示の理解など、やりとりが目的
• 27.
  27 インターフェースとしての自然言語処理 記号の世界 物理の世界 ・画像処理 ・センサー ・制御 ・プランニング ・自然言語処理 ・音声処理 ・UI
• 28.
  28
• 29.
  29 全ての人にロボットを
• 30.
  30
• 31.
  31 流通・物流の現場にロボットを入れようとする
• 32.
  32 手段と割り切ってドメインに目を向ける 言語 ロボット ドメイン
• 33.
  33 80年代：ワープロブームとかな漢字変換の研究開発 90年代：機械翻訳ブーム、各社機械翻訳の研究開発 00年代：テキストマイニングブーム、過去の研究資産の活用 インターネット 00年代：ネット企業での活用が広がる 10年代：SNSでの活用が広がる 20年代：ドメイン特化ベンチャーが広がる 自然言語処理産業界におけるトレンドの私見
• 34.
  34 ● 法律、判例、契約書 ● 物語、漫画 ●会話 ● 商品説明、製品名 ● … 「言語」が中心的な役割のドメインは？
• 35.
  35 漫画というドメインにおいて言語の役割は支配的 次回、乞うご期待！
• 36.
  36 ドメインに特化するということは、 その分野の問題を真剣に考える、ということ 時として、自分の得意な技術以外の仕事が中心になる ドメインに特化する覚悟
• 37.
  37 ソフトウェア技術はオープンになりやすい 商用ソフトウェアが出現する 競合が出現して競争が激化 オープンソースやオープンな技術が出る オープンな技術が大規模に広がる 1 2 3 4
• 38.
  38 2022/03: Midjourneyが公開 2022/04: OpenAIのDALL-E2が公開 2022/05:GoogleのImagenが公開 2022/08: Stable diffusionが公開 (OSS) あっという間にOSS化された画像生成技術
• 39.
  39 ● 精度以外の部分で勝負する ● 利用シーンの変化を見逃さない ●道具と割り切って特定ドメインに飛び込む 前半のまとめ
• 40.
  40 未来の話
• 41.
  41 チャンスかピンチか （なにかすごいこと）やるぞー 失敗しそうだ・・・ エラい人 ボク
• 42.
  42 本当にリスクかどうか考える うまくいった やらなかった うまくいかな かった ・未踏の挑戦に貢献できた ・他の仕事ができる ・うまくいったときに公開する ・解雇される（本当に？） ・会社が潰れる（本当に？）
• 43.
  43 挑戦できるときに挑戦できるか 技術の下地 適切な投資と期待 実行できる環境
• 44.
  44 ● 人工知能は閉塞感があり、できることは限られていた ● 誰も技術に期待しておらず、「そういうのはいらない」と 言われ続けた ●特定の技術領域でも難しすぎて、分野横断的なチームを構 成できない 15年前の「人工知能」はどうだったか
• 45.
  45 挑戦できるタイミングは一瞬 http://blog.livedoor.jp/lunarmodule7/archives/4504511.html ● ちょうど今、一部の分野では十分 な精度になるかどうかの過渡期 ● 技術は進歩し続ける、できること が減ることはない ●挑戦できるタイミングは一瞬、早 すぎても遅すぎてもだめ
• 46.
  46
• 47.
  47 © Kuha455405
• 48.
  48 ● 私が中高生の時（20年前）にMDは流行した ● 高校生のときにMP3プレイヤーが出現したが、1,2曲しか 入らず、絶対に流行らないと思った ● 今、「ちょっと頭おかしい」とおもうような技術に投資す るくらいがちょうどよい 未来の当たり前は今の非常識
• 49.
  49 ● 探索と活用のトレードオフ ● 全部そこそこな状態は、過剰にリスクを回避している ●組織が失敗に寛容にならないと一番良い期待値を取れない 全部成功しなくていい 50%は失敗しないといけません 新卒のときに言われたことば
• 50.
  50
• 51.
  51 ● 社内技術カンファレンス：年3回 ● テックトーク、技術トーク：隔週 ●読書会：週1回 ● 社内勉強会：不定期 技術は1日にしてならず 継続的に技術を生み出せる 会社風土を醸成する
• 52.
  52 最後に
• 53.
  53 若い人のほうが真実を知っている
• 54.
  Making the realworld computable