Hue勉強会 20131008
8 likes4,092 views
http://www.cloudera.co.jp 2013/10/08 に開催した、Hue 勉強会の資料です。
Hue勉強会 20131008
- 1. The Hadoop UI Sho / Romain - October 2013 Cloudera Meetup Tokyo
- 3. Welcome !
- 4. 自己紹介 • 嶋内 翔(しまうち しょう) • 2011年4月にClouderaの最初の日本人社員と • • • して入社 テクニカルサポート業務をメインに、日本に おける技術に関係する業務全般を担当 email: [email protected] twitter: @shiumachi
- 6. 今日のアジェンダ • Hueって何？ • デモ: Hue で何ができるの？ • Hue の将来
- 7. Hueって何？ • Hadoopを使いやすくするためのWebUI • 色々なHadoopエコシステムの集合体 • (e.g. Hive, Pig, Impala, Oozie, Solr, Sqoop, HBase...)
- 8. View from 30 000 feet
- 9. Ecosystem
- 11. Hue is Open Source
- 13. Hue and Django Apps = Django apps Core = Libs and main UI
- 14. Hue has a lot of Frontend Drag JQuery, Bootstraps KnockOut, CSS… Drag & Drop, UX
- 16. ファイルブラウザ
- 17. ファイルのアップロード
- 18. ファイルの閲覧
- 19. ファイルの編集も可能
- 21. Beeswaxとは • HiveのWebインタフェース • 以下の操作を実行可能 o サンプルファイルからテーブルを作成(Metastore Manager に統合) o クエリの保存・実行 o テーブル内のデータの閲覧
- 22. クエリの実行
- 23. クエリの保存・管理
- 24. Hue アプリケーション(3) Impala Query Editor
- 26. Hue アプリケーション(4) Pig Editor
- 27. Pig も Hue から実行可能
- 28. Hue アプリケーション(5) Metastore Manager
- 30. ファイルから新しいテーブルを作成
- 31. ファイルから新しいテーブルを作成
- 32. ファイルから新しいテーブルを作成
- 33. Hue アプリケーション(6) Oozie Editor
- 35. ワークフローの管理
- 39. Sqoopのジョブを作成する
- 40. Sqoop ジョブの管理
- 41. Hue アプリケーション(8) Cloudera Search
- 42. Apache Solr • オープンソースの検索システム • キーワード検索や属性検索により、Googleの • ような検索システムを構築可能 ClouderaではSearchとして2013年6月から提 供開始 o MapReduceによるインデックス作成 o Flumeによる高速インデックス更新 o HDFS上の非構造データをそのまま検索可能 42
- 43. Cloudera Search アーキテクチャ ストリーミングで インデックスを更新 インデックスを分散保持 Webサーバ等の ログを生成するサーバ 携帯端末の 通信ログ Hadoop バッチ処理で インデックス更新 Webインタフェース 43
- 44. 検索結果
- 49. インデックス設定
- 50. Hue アプリケーション(9) HBase App
- 51. HBase も Hue から操作可能
- 52. Hueで何ができる？
- 53. Demo !
- 56. Roadmap • 3.0 : October o o o o o UI の再設計 Google docs っぽいインタフェースに YARN ZooKeeper app ? (コミュニティ次第) • 3.5 : February 2014 o o o アプリケーション間連携 グラフ ? (コミュニティ次第)
- 57. Hue 1 - CDH3
- 58. Hue 2 - CDH
- 59. Hue 2.5 - CDH4.4
- 60. Hue 3 - CDH5 New design New top navigation bar
- 61. Hue 3 - New document model ● Home (like Google Drive) ● Unified sharing permissions ● Tags
- 62. Links • gethue.com o o o Videos, Hadoop Tutorials Demo VM CDH package • @gethue • hue-user@ o o Help Contributors