トヨタのxR活用で進める現場DXへの挑戦
~ UnityとHoloLens 2とともに
トヨタ自動車株式会社
サービス技術部 主幹
栢野 浩一
2021秋 Unity道場
© 2021 Toyota Motor Corporation. All rights reserved.
/35
1
栢野 浩一(かやの こういち)
仕事 デジタルエンジニアリング
(≒DX/デジタルツイン)20年以上
趣味 コンピュータ系 最近は xR
ハイキング(登りじゃないやつ)、旅行
出身 三重生まれの名古屋育ち
© 2021 Toyota Motor Corporation. All rights reserved.
/35
1996年~ 生産技術へデジタルエンジニアリング導入
(創成期=経験が今も役立つ)
2
干渉
車両1台分のデータ
最新xR活用でも、仕事の本質は同じ
作業姿勢
やりにくさ=品質低下
© 2021 Toyota Motor Corporation. All rights reserved.
/35
フルビーグルデータ@PDM
カタログ
CM
サービスマニュアル
パーツカタログ
用品デザインレビュー
デザイン
レビュー
レイアウト検討
作業要領書 荷姿検討
構成部品表
エンジン搭載検討
作業手順書
計測
CAE
設計
デザイン
品管
評価
生技・工場
用品
企画
販売
サービス
3
全行程でデータを基準とした業務遂行を支援 正しく遅れなく
© 2021 Toyota Motor Corporation. All rights reserved.
/35
2005年~ 市販CG用「車両データ」 海外拠点へ提供
4
カタログ/CM/映画 VRイベント
カーコンフィギュレータ
車両CGモデルを提供
革新的な取組
⇒15年以上たっても
標準プロセス
© 2021 Toyota Motor Corporation. All rights reserved.
/35
5
切磋琢磨
© 2021 Toyota Motor Corporation. All rights reserved.
/35
・2000初~ サービス性検討、手書きイラストの元ネタ
・2007年~ 修理書等のイラストに3Dデータ活用開始
・2016年~ xR活用試行に着手(AR, VR, HoloLens,,,)
6
© 2021 Toyota Motor Corporation. All rights reserved.
/35
7
GR Garageはクルマファンが集い、語らい、一緒になってクルマを楽しむ、
「町いちばんの楽しいクルマ屋さん」を目指しています。
https://toyota.jp/gr/garage/
© 2021 Toyota Motor Corporation. All rights reserved.
/35
8
2016/17 2019 2020
2018
現在も改良中)
▼現在
2021
2018 Satya CEO 2021 Alex Kipman
たくさん試行!
2019 平野社長
© 2021 Toyota Motor Corporation. All rights reserved.
/35
9
①配線図
④トレーニング、ガイド
③コミュニケーション
②新型車解説
Dynamics 365 Remote Assist
Dynamics 365 Guides
トヨタ製
マイクロソフト社
製品
後進リーダ達が要件化し展開
© 2021 Toyota Motor Corporation. All rights reserved.
/35
10
・解り辛かった部品やコネクタ配置を直感的に理解
・配線に関わる情報を一括表示
© 2021 Toyota Motor Corporation. All rights reserved.
© 2021 Toyota Motor Corporation. All rights reserved.
/35
12
・機能解説を車両上に表示し、楽しくわかりやすく学習
ボデー エンジン
空力 4WD
© 2021 Toyota Motor Corporation. All rights reserved.
空力
© 2021 Toyota Motor Corporation. All rights reserved.
/35
14
①エンジニアの魅力向上
エンジニアリーダー、新入社員へ将来像紹介 整備学校生対象の体験イベント
②新たなお客様体験の提供 販売店独自にSNS・YouTube上での紹介、集客誘致
③各種メディアでの紹介 日刊自動車新聞、日刊工業新聞、日経新聞Web 他
© 2021 Toyota Motor Corporation. All rights reserved.
/35
15
特徴:AI形状認識により、ホログラム表示位置を自動化
手順
学習
ファイル
①モデルファイルを
用意する
②学習ファイルへ変換
(Azureサービス)
③Unity
開発アプリ
④HoloLens 2へ
先行段階から開発チームに参加
1~5MB 2MB
車両塗装を傷つけない
作業効率 マーカーレス実現は必須
© 2021 Toyota Motor Corporation. All rights reserved.
© 2021 Toyota Motor Corporation. All rights reserved.
/35
17
特徴:ディーラ配布HoloLensのユーザ、アプリ配信など
クラウドベースで機器管理ができる(旧名 Intune)
ユーザ設定
アプリ配信
各種設定
ディーラ展開になくてはならないツール
初期設定工数 大幅に低減
注:HoloLensでは
機能制限あり(現状)
© 2021 Toyota Motor Corporation. All rights reserved.
/35
18
特徴:回路図のSVGフォーマットをHoloLens上で表示
裏話
・SVG Viewer開発者
と直接コンタクト
・初めて「3D化」した時
50mくらいの巻物
文字が見えない
Unityで楽しく開発!
© 2021 Toyota Motor Corporation. All rights reserved.
/35
19
HoloLens単体では、
描画性能に限界!
クラウドで描画、現場で投影
①Microsoft Azure Remote Rendering (ARR)
HoloLens 2
(ARR SDKを使用した
UWP Unityアプリケーション)
レンダリングサーバー
(専用Azureサービス)
レンダリングデータ
センサーデータ
開発
© 2021 Toyota Motor Corporation. All rights reserved.
車両(Azure Remote Rendering) + アバター先生(Azure Kinect ) © UTJ/UCL
© 2021 Toyota Motor Corporation. All rights reserved.
/35
21
© 2021 Toyota Motor Corporation. All rights reserved.
/35
22
Concept: HoloPortation
アバター & リアル & ホログラム
© 2021 Toyota Motor Corporation. All rights reserved.
ARR + アバター先生 + Holographic Capture (Azure Kinect) w/Real HoloPortation
© 2021 Toyota Motor Corporation. All rights reserved.
/35
24
例)トルク値の自動読み取り、記録化
デジタル工具(Bluetooth Device)との連携
・工具とタイヤを
形状認識で把握
・デジタル工具から
トルク値を通信し
記録簿に自動記録
© 2021 Toyota Motor Corporation. All rights reserved.
© 2021 Toyota Motor Corporation. All rights reserved.
/35
26
© 2021 Toyota Motor Corporation. All rights reserved.
/35
27
Power Appsで使えるように工夫 (世界初!?)
PC
Azure Signal R
Azure Functions Power Apps
(HoloLens内のブラウザ)
Bluetooth
デジタル工具
HoloLens 2
Bluetooth
仕様上不可
今回
Azure 利用
© 2021 Toyota Motor Corporation. All rights reserved.
© 2021 Toyota Motor Corporation. All rights reserved.
/35
29
・アバターや手モデルで
手順や位置を説明
・スタッフやマニュアルが
なくても操作可能
・合成音声の違和感
は改善の余地あり
※HoloLensの操作は、慣れていないと難しい
© 2021 Toyota Motor Corporation. All rights reserved.
鳴き声:CV深田愛衣 (株) ぷろだくしょんバオバブ所属
© 2021 Toyota Motor Corporation. All rights reserved.
/35
31
ご参考)映像産業振興機構 VIPO
「AR等のコンテンツ制作技術活用
ガイドライン 2020」
※経済産業省が支援、トヨタ自動車も制作に協力
UI設計が重要
© 2021 Toyota Motor Corporation. All rights reserved.
/35
32
Interactive
High-End
Experience
Interactive
Mobile,Web
Experience
Interactive
AR/VR/MR
Experience
VIRTUAL FACTORY
CAD
PDM
Toyota Digital Pipeline
Visual 3D
Model
Material Library
Polygon
© 2021 Toyota Motor Corporation. All rights reserved.
/35
33
33
May. 2018
Mar. 2019
Nov. 2018
May 2019
Unity+xRで
ずっとやりたかった夢
「デジタルを現場で」
が実現
あこがれた映画、SF
開発者の皆様
ありがとうございます!
© 2021 Toyota Motor Corporation. All rights reserved.
/35
・デジタル活用のヒントは現場にあり
課題を一番しっているのは現場 目標をしっかり
・若い世代にまかせてみる
デジタルネイティブで、センスがいい
・気軽にまずはやってみる、だめならすぐやめる
従来よりはるかに、安い、早い、うまい技術が豊富
34
xRは働き方改革に確実に役立つ
© 2021 Toyota Motor Corporation. All rights reserved.
/35
35
xR・DXで
もっといいクルマづくり&サービス
に努めてまいります
誰かの幸せのために
ご清聴ありがとうございました

【Unity道場 自動車編】トヨタのxR活用で進める現場DXへの挑戦 ~UnityとHoloLens 2を用いて~

  • 1.
  • 2.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 1 栢野 浩一(かやの こういち) 仕事 デジタルエンジニアリング (≒DX/デジタルツイン)20年以上 趣味 コンピュータ系 最近は xR ハイキング(登りじゃないやつ)、旅行 出身 三重生まれの名古屋育ち
  • 3.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 1996年~ 生産技術へデジタルエンジニアリング導入 (創成期=経験が今も役立つ) 2 干渉 車両1台分のデータ 最新xR活用でも、仕事の本質は同じ 作業姿勢 やりにくさ=品質低下
  • 4.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 フルビーグルデータ@PDM カタログ CM サービスマニュアル パーツカタログ 用品デザインレビュー デザイン レビュー レイアウト検討 作業要領書 荷姿検討 構成部品表 エンジン搭載検討 作業手順書 計測 CAE 設計 デザイン 品管 評価 生技・工場 用品 企画 販売 サービス 3 全行程でデータを基準とした業務遂行を支援 正しく遅れなく
  • 5.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 2005年~ 市販CG用「車両データ」 海外拠点へ提供 4 カタログ/CM/映画 VRイベント カーコンフィギュレータ 車両CGモデルを提供 革新的な取組 ⇒15年以上たっても 標準プロセス
  • 6.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 5 切磋琢磨
  • 7.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 ・2000初~ サービス性検討、手書きイラストの元ネタ ・2007年~ 修理書等のイラストに3Dデータ活用開始 ・2016年~ xR活用試行に着手(AR, VR, HoloLens,,,) 6
  • 8.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 7 GR Garageはクルマファンが集い、語らい、一緒になってクルマを楽しむ、 「町いちばんの楽しいクルマ屋さん」を目指しています。 https://toyota.jp/gr/garage/
  • 9.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 8 2016/17 2019 2020 2018 現在も改良中) ▼現在 2021 2018 Satya CEO 2021 Alex Kipman たくさん試行! 2019 平野社長
  • 10.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 9 ①配線図 ④トレーニング、ガイド ③コミュニケーション ②新型車解説 Dynamics 365 Remote Assist Dynamics 365 Guides トヨタ製 マイクロソフト社 製品 後進リーダ達が要件化し展開
  • 11.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 10 ・解り辛かった部品やコネクタ配置を直感的に理解 ・配線に関わる情報を一括表示
  • 12.
    © 2021 ToyotaMotor Corporation. All rights reserved.
  • 13.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 12 ・機能解説を車両上に表示し、楽しくわかりやすく学習 ボデー エンジン 空力 4WD
  • 14.
    © 2021 ToyotaMotor Corporation. All rights reserved. 空力
  • 15.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 14 ①エンジニアの魅力向上 エンジニアリーダー、新入社員へ将来像紹介 整備学校生対象の体験イベント ②新たなお客様体験の提供 販売店独自にSNS・YouTube上での紹介、集客誘致 ③各種メディアでの紹介 日刊自動車新聞、日刊工業新聞、日経新聞Web 他
  • 16.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 15 特徴:AI形状認識により、ホログラム表示位置を自動化 手順 学習 ファイル ①モデルファイルを 用意する ②学習ファイルへ変換 (Azureサービス) ③Unity 開発アプリ ④HoloLens 2へ 先行段階から開発チームに参加 1~5MB 2MB 車両塗装を傷つけない 作業効率 マーカーレス実現は必須
  • 17.
    © 2021 ToyotaMotor Corporation. All rights reserved.
  • 18.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 17 特徴:ディーラ配布HoloLensのユーザ、アプリ配信など クラウドベースで機器管理ができる(旧名 Intune) ユーザ設定 アプリ配信 各種設定 ディーラ展開になくてはならないツール 初期設定工数 大幅に低減 注:HoloLensでは 機能制限あり(現状)
  • 19.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 18 特徴:回路図のSVGフォーマットをHoloLens上で表示 裏話 ・SVG Viewer開発者 と直接コンタクト ・初めて「3D化」した時 50mくらいの巻物 文字が見えない Unityで楽しく開発!
  • 20.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 19 HoloLens単体では、 描画性能に限界! クラウドで描画、現場で投影 ①Microsoft Azure Remote Rendering (ARR) HoloLens 2 (ARR SDKを使用した UWP Unityアプリケーション) レンダリングサーバー (専用Azureサービス) レンダリングデータ センサーデータ 開発
  • 21.
    © 2021 ToyotaMotor Corporation. All rights reserved. 車両(Azure Remote Rendering) + アバター先生(Azure Kinect ) © UTJ/UCL
  • 22.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 21
  • 23.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 22 Concept: HoloPortation アバター & リアル & ホログラム
  • 24.
    © 2021 ToyotaMotor Corporation. All rights reserved. ARR + アバター先生 + Holographic Capture (Azure Kinect) w/Real HoloPortation
  • 25.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 24 例)トルク値の自動読み取り、記録化 デジタル工具(Bluetooth Device)との連携 ・工具とタイヤを 形状認識で把握 ・デジタル工具から トルク値を通信し 記録簿に自動記録
  • 26.
    © 2021 ToyotaMotor Corporation. All rights reserved.
  • 27.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 26
  • 28.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 27 Power Appsで使えるように工夫 (世界初!?) PC Azure Signal R Azure Functions Power Apps (HoloLens内のブラウザ) Bluetooth デジタル工具 HoloLens 2 Bluetooth 仕様上不可 今回 Azure 利用
  • 29.
    © 2021 ToyotaMotor Corporation. All rights reserved.
  • 30.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 29 ・アバターや手モデルで 手順や位置を説明 ・スタッフやマニュアルが なくても操作可能 ・合成音声の違和感 は改善の余地あり ※HoloLensの操作は、慣れていないと難しい
  • 31.
    © 2021 ToyotaMotor Corporation. All rights reserved. 鳴き声:CV深田愛衣 (株) ぷろだくしょんバオバブ所属
  • 32.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 31 ご参考)映像産業振興機構 VIPO 「AR等のコンテンツ制作技術活用 ガイドライン 2020」 ※経済産業省が支援、トヨタ自動車も制作に協力 UI設計が重要
  • 33.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 32 Interactive High-End Experience Interactive Mobile,Web Experience Interactive AR/VR/MR Experience VIRTUAL FACTORY CAD PDM Toyota Digital Pipeline Visual 3D Model Material Library Polygon
  • 34.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 33 33 May. 2018 Mar. 2019 Nov. 2018 May 2019 Unity+xRで ずっとやりたかった夢 「デジタルを現場で」 が実現 あこがれた映画、SF 開発者の皆様 ありがとうございます!
  • 35.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 ・デジタル活用のヒントは現場にあり 課題を一番しっているのは現場 目標をしっかり ・若い世代にまかせてみる デジタルネイティブで、センスがいい ・気軽にまずはやってみる、だめならすぐやめる 従来よりはるかに、安い、早い、うまい技術が豊富 34 xRは働き方改革に確実に役立つ
  • 36.
    © 2021 ToyotaMotor Corporation. All rights reserved. /35 35 xR・DXで もっといいクルマづくり&サービス に努めてまいります 誰かの幸せのために ご清聴ありがとうございました