Shinpei Ohtani, profile picture
Uploaded byShinpei Ohtani
PPT, PDF5,564 views

はやわかりHadoop

Downloaded 166 times
1 / 152
2 / 152
3 / 152
4 / 152
5 / 152
6 / 152
7 / 152
8 / 152
9 / 152
10 / 152
11 / 152
12 / 152
13 / 152
14 / 152
15 / 152
16 / 152
17 / 152
18 / 152
19 / 152
20 / 152
21 / 152
22 / 152
23 / 152
24 / 152
25 / 152
26 / 152
27 / 152
28 / 152
29 / 152
30 / 152
31 / 152
32 / 152
33 / 152
34 / 152
35 / 152
36 / 152
37 / 152
38 / 152
39 / 152
40 / 152
41 / 152
42 / 152
43 / 152
44 / 152
45 / 152
46 / 152
47 / 152
48 / 152
49 / 152
50 / 152
51 / 152
52 / 152
53 / 152
54 / 152
55 / 152
56 / 152
57 / 152
58 / 152
59 / 152
60 / 152
61 / 152
62 / 152
63 / 152
64 / 152
65 / 152
66 / 152
67 / 152
68 / 152
69 / 152
70 / 152
71 / 152
72 / 152
73 / 152
74 / 152
75 / 152
76 / 152
77 / 152
78 / 152
79 / 152
80 / 152
81 / 152
82 / 152
83 / 152
84 / 152
85 / 152
86 / 152
87 / 152
88 / 152
89 / 152
90 / 152
91 / 152
92 / 152
93 / 152
94 / 152
95 / 152
96 / 152
97 / 152
98 / 152
99 / 152
100 / 152
101 / 152
102 / 152
103 / 152
104 / 152
105 / 152
106 / 152
107 / 152
108 / 152
109 / 152
110 / 152
111 / 152
112 / 152
113 / 152
114 / 152
115 / 152
116 / 152
117 / 152
118 / 152
119 / 152
120 / 152
121 / 152
122 / 152
123 / 152
124 / 152
125 / 152
126 / 152
127 / 152
128 / 152
129 / 152
130 / 152
131 / 152
132 / 152
133 / 152
134 / 152
135 / 152
136 / 152
137 / 152
138 / 152
139 / 152
140 / 152
141 / 152
142 / 152
143 / 152
144 / 152
145 / 152
146 / 152
147 / 152
148 / 152
149 / 152
150 / 152
151 / 152
152 / 152
はやわかり Hadoop shot6
Hadoop
最近名前をよく聞く
たまに いる
「おお、あの 新型 DB だろ？ 早いの？」
たまに いる
「あのクラウドね。 SaaS だっけ？」
「ああ、 Google のあれでしょ？」
おしい
実態がよくわかってない人も多い
NO PROBLEM
何ら恥じることはない
Hadoop とは
並列分散処理基盤
・・・
バッチ基盤 分析基盤
なんとなくわかる
巨大な データ
100GB のログ
これを 処理する
並列 に
そして 安価 に
サーバを追加
=
処理性能アップ
でも最も重要な点
生態系
 
エコ システム
全体を俯瞰
これ 重要
この LT の目的
ディストリビューション
そもそも 3 つ ある
Apache Hadoop
本家 本元
特徴
リリースが慎重
様々な 要望
色々な 事情
あるはず
早く進化したい
もっと 機能追加したい
あるはず
OSS の ジレンマ
 
でも
互換性 重視
堅実 な進化
大人 な OSS
Cloudera Hadoop
米国 Cloudera 社
 
特徴
エンタープライズ 向け？
簡単
yum/ apt
即 インストール
設定も 楽ちん
大量バグフィックス
例えば
hadoop-0.20.1 +169
169 個 の バグフィックス
Apache 版に貢献済
Cloudera Desktop
Hadoop の管理ツール
 
 
超絶便利 ( まだ α )
Yahoo Hadoop
Yahoo で使用
巨大クラスタでの実績
品質向上 に全力
セキュリティ などの新機能
勿論膨大なバグフィックス
Apache 版に貢献済
Hadoop を 支える トライアングル
Apache Hadoop Cloudera Hadoop Yahoo Hadoop フィードバック フィードバック 意見交換
機能
大量
Core Map Reduce HDFS Zoo Keeper HBase Pig Hive Chukwa Cloudera Desktop Avro Sqoop
Core
Hadoop の中核
基本的な通信、 IO 、ファイルシステム、設定などなど
HDFS
H adoop D istributed F ile S ystem
Hadoop 分散ファイルシステム
巨大ファイルを でかめのブロックに分割し、 管理・保存
ノード間は勝手にレプリケーションする
Elastic さを持つファイルシステム
 
NameNode は、ファイル名、ブロック、ノードの対応の管理
DataNode は、ブロックを 管理
Hadoop MapReduce
みんな大好き MapReduce プログラミング
並列処理 プログラミング モデルの一種
Hadoop と プログラマの 基本的な 接点
Map : ある観点でデータをまとめる。
Reduce : ソート済みデータを集約・計算する
仕組み
ジョブトラッカーと タスクトラッカー
ジョブトラッカー と タスクトラッカー
 
キモイ… .
じゃなくて
MapReduce ジョブを適切なタスクに分解し管理
ジョブトラッカーと タスクトラッカー
分解された タスクを実行。
Map/Reduce タスクは 子 JVM 起動 して実行。
データがある ところで、 タスクを起動。
ここまでが 基本中の基本
こっからは 早足
HBase
Hadoop 上に構築した DB
BigTable クローン
Hadoop が本来不得意な 小口データ を効率よく処理
Hive/Pig
 
ちょ w
MapReduce を書くのが メンドイ
そんな人のための簡易言語
Pig のほうが独自っぽい
Pig は Yahoo が 作成
Hive は SQL っぽい
Hive は FaceBook が作成
Zoo Keeper
やあ
ちょ w
分散協調サービス
リソースやデータの 調整役
Chukwa
データ収集システム
小さな大量ログを Hadoop で扱い易く
使ってる人いない ^^;?
Avro
シリアライズシステム
非常に高速かつ柔軟
ベンチ マーク
 
爆速
現状 Hadoop に組み込まれていない
今後 Avro ベースになるはず
要注目
他にも
Cascading
まとめ
Hadoop
ひとつの ミドルウェア
ではなく
複数ミドルウェアを 支える
プラットフォーム
Have fun with Hadoop family !

More Related Content

PDF
Hadoop　基礎
byhideaki honda
 
PDF
Hadoopの概念と基本的知識
byKen SASAKI
 
PDF
NTTデータ流 Hadoop活用のすすめ ～インフラ構築・運用の勘所～
byNTT DATA OSS Professional Services
 
PDF
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
byNTT DATA OSS Professional Services
 
PDF
Apache Spark超入門 （Hadoop / Spark Conference Japan 2016 講演資料）
byNTT DATA OSS Professional Services
 
PDF
世界一簡単なHadoopの話
byKoichi Shimazaki
 
PDF
Apache Spark の紹介（前半：Sparkのキホン）
byNTT DATA OSS Professional Services
 
PDF
ちょっと理解に自信がないな という皆さまに贈るHadoop／Sparkのキホン （IBM Datapalooza Tokyo 2016講演資料）
byhamaken
 
Hadoop　基礎
byhideaki honda
 
Hadoopの概念と基本的知識
byKen SASAKI
 
NTTデータ流 Hadoop活用のすすめ ～インフラ構築・運用の勘所～
byNTT DATA OSS Professional Services
 
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
byNTT DATA OSS Professional Services
 
Apache Spark超入門 （Hadoop / Spark Conference Japan 2016 講演資料）
byNTT DATA OSS Professional Services
 
世界一簡単なHadoopの話
byKoichi Shimazaki
 
Apache Spark の紹介（前半：Sparkのキホン）
byNTT DATA OSS Professional Services
 
ちょっと理解に自信がないな という皆さまに贈るHadoop／Sparkのキホン （IBM Datapalooza Tokyo 2016講演資料）
byhamaken
 

What's hot

PDF
40分でわかるHadoop徹底入門 （Cloudera World Tokyo 2014 講演資料）
byhamaken
 
PDF
Apache Sparkのご紹介 （後半：技術トピック）
byNTT DATA OSS Professional Services
 
PDF
HDFS新機能総まとめin 2015 （日本Hadoopユーザー会 ライトニングトーク＠Cloudera World Tokyo 2015　講演資料）
byNTT DATA OSS Professional Services
 
PDF
【17-E-3】Hadoop：黄色い象使いへの道 ～「Hadoop徹底入門」より～
byDevelopers Summit
 
PDF
基幹業務もHadoopで!! -ローソンにおける店舗発注業務への Hadoop + Hive導入と その取り組みについて-
byKeigo Suda
 
PDF
Hadoopことはじめ
by均 津田
 
PDF
Hadoopエコシステムの最新動向とNTTデータの取り組み （OSC 2016 Tokyo/Spring 講演資料）
byNTT DATA OSS Professional Services
 
PDF
Hadoop ecosystem NTTDATA osc15tk
byNTT DATA OSS Professional Services
 
PDF
Hadoopデータプラットフォーム #cwt2013
byCloudera Japan
 
PPTX
SASとHadoopとの連携
bySAS Institute Japan
 
PDF
SparkとCassandraの美味しい関係
bydatastaxjp
 
PDF
Hadoop概要説明
bySatoshi Noto
 
PDF
分散処理基盤Apache Hadoopの現状と、NTTデータのHadoopに対する取り組み
byNTT DATA OSS Professional Services
 
PDF
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
byNTT DATA OSS Professional Services
 
PPTX
Pythonで入門するApache Spark at PyCon2016
byTatsuya Atsumi
 
PDF
Apache Sparkの紹介
byRyuji Tamagawa
 
PDF
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
byHadoop / Spark Conference Japan
 
PPTX
Hadoopトレーニング番外編　〜間違えられやすいHadoopの7つの仕様〜
byCloudera Japan
 
PDF
Ansibleで構成管理始める人のモチベーションをあげたい！ （Cloudera World Tokyo 2014LT講演資料）
byNTT DATA OSS Professional Services
 
40分でわかるHadoop徹底入門 （Cloudera World Tokyo 2014 講演資料）
byhamaken
 
Apache Sparkのご紹介 （後半：技術トピック）
byNTT DATA OSS Professional Services
 
HDFS新機能総まとめin 2015 （日本Hadoopユーザー会 ライトニングトーク＠Cloudera World Tokyo 2015　講演資料）
byNTT DATA OSS Professional Services
 
【17-E-3】Hadoop：黄色い象使いへの道 ～「Hadoop徹底入門」より～
byDevelopers Summit
 
基幹業務もHadoopで!! -ローソンにおける店舗発注業務への Hadoop + Hive導入と その取り組みについて-
byKeigo Suda
 
Hadoopことはじめ
by均 津田
 
Hadoopエコシステムの最新動向とNTTデータの取り組み （OSC 2016 Tokyo/Spring 講演資料）
byNTT DATA OSS Professional Services
 
Hadoop ecosystem NTTDATA osc15tk
byNTT DATA OSS Professional Services
 
Hadoopデータプラットフォーム #cwt2013
byCloudera Japan
 
SASとHadoopとの連携
bySAS Institute Japan
 
SparkとCassandraの美味しい関係
bydatastaxjp
 
Hadoop概要説明
bySatoshi Noto
 
分散処理基盤Apache Hadoopの現状と、NTTデータのHadoopに対する取り組み
byNTT DATA OSS Professional Services
 
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
byNTT DATA OSS Professional Services
 
Pythonで入門するApache Spark at PyCon2016
byTatsuya Atsumi
 
Apache Sparkの紹介
byRyuji Tamagawa
 
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
byHadoop / Spark Conference Japan
 
Hadoopトレーニング番外編　〜間違えられやすいHadoopの7つの仕様〜
byCloudera Japan
 
Ansibleで構成管理始める人のモチベーションをあげたい！ （Cloudera World Tokyo 2014LT講演資料）
byNTT DATA OSS Professional Services
 

Similar to はやわかりHadoop

PDF
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向（OSC2015 Kansai発表資料）
byNTT DATA OSS Professional Services
 
PDF
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 （オープンソースカンファレンス 2015 Tokyo/Spring 講...
byNTT DATA OSS Professional Services
 
PDF
MapReduce 初心者が Hadoop をさわってみた。もちろん C++ から。
byＹｏｕ＆Ｉ
 
PPTX
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
byAdvancedTechNight
 
PPT
Hadoop　～Yahoo! JAPANの活用について～
byYahoo!デベロッパーネットワーク
 
PPT
Hadoopの紹介
bybigt23
 
PDF
Introduction to Hadoop and Spark (before joining the other talk) and An Overv...
byDataWorks Summit/Hadoop Summit
 
PDF
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
byCloudera Japan
 
PDF
Oracle Cloudで始める、DBエンジニアのためのHadoop超入門（db tech showcase 2016 Oracle セッション資料）
byオラクルエンジニア通信
 
ODP
Hadoop for programmer
bySho Shimauchi
 
PPTX
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
byGoAzure
 
PPTX
ゾウ使いへの第一歩
byFumito Ito
 
PPT
Hadoop～Yahoo!Japanの活用について
bykaminashi
 
PDF
TokyoWebminig カジュアルなHadoop
byTeruo Kawasaki
 
PPTX
Cloudera大阪セミナー 20130219
byCloudera Japan
 
PDF
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
byYahoo!デベロッパーネットワーク
 
PPT
Googleの基盤クローン Hadoopについて
byKazuki Ohta
 
PDF
Hadoop事始め
byＹｏｕ＆Ｉ
 
PPTX
Hadoop
byAtsushi Shimura
 
PDF
OSSとクラウドによるコンピューティングモデルの変化
byNobuyori Takahashi
 
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向（OSC2015 Kansai発表資料）
byNTT DATA OSS Professional Services
 
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 （オープンソースカンファレンス 2015 Tokyo/Spring 講...
byNTT DATA OSS Professional Services
 
MapReduce 初心者が Hadoop をさわってみた。もちろん C++ から。
byＹｏｕ＆Ｉ
 
ATN No.1 MapReduceだけでない!? Hadoopとその仲間たち
byAdvancedTechNight
 
Hadoop　～Yahoo! JAPANの活用について～
byYahoo!デベロッパーネットワーク
 
Hadoopの紹介
bybigt23
 
Introduction to Hadoop and Spark (before joining the other talk) and An Overv...
byDataWorks Summit/Hadoop Summit
 
Apache Kuduは何がそんなに「速い」DBなのか? #dbts2017
byCloudera Japan
 
Oracle Cloudで始める、DBエンジニアのためのHadoop超入門（db tech showcase 2016 Oracle セッション資料）
byオラクルエンジニア通信
 
Hadoop for programmer
bySho Shimauchi
 
A 2-3ゾウ使いへの第一歩 hadoop on azure 編
byGoAzure
 
ゾウ使いへの第一歩
byFumito Ito
 
Hadoop～Yahoo!Japanの活用について
bykaminashi
 
TokyoWebminig カジュアルなHadoop
byTeruo Kawasaki
 
Cloudera大阪セミナー 20130219
byCloudera Japan
 
Apache Big Data Miami 2017 - Hadoop Source Code Reading #23 #hadoopreading
byYahoo!デベロッパーネットワーク
 
Googleの基盤クローン Hadoopについて
byKazuki Ohta
 
Hadoop事始め
byＹｏｕ＆Ｉ
 
Hadoop
byAtsushi Shimura
 
OSSとクラウドによるコンピューティングモデルの変化
byNobuyori Takahashi
 

More from Shinpei Ohtani

PDF
Amazon Aurora
byShinpei Ohtani
 
PDF
AWS Lambda and Amazon API Gateway
byShinpei Ohtani
 
PDF
ECS for Docker Meetup #4
byShinpei Ohtani
 
PDF
JVM的な何か@JVM Operation Casual Talk
byShinpei Ohtani
 
PDF
Amazon kinesisで広がるリアルタイムデータプロセッシングとその未来
byShinpei Ohtani
 
PDF
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
byShinpei Ohtani
 
PDF
プログラマブルクラウドの薦め
byShinpei Ohtani
 
PDF
サンプルから見るMapReduceコード
byShinpei Ohtani
 
PPTX
Hadoopソースリーディング第１回アジェンダ
byShinpei Ohtani
 
PDF
サンプルから見るMap reduceコード
byShinpei Ohtani
 
PPTX
Hadoopソースリーディング第１回アジェンダ
byShinpei Ohtani
 
PPT
T2 Web Framework
byShinpei Ohtani
 
PDF
T2 Hacks
byShinpei Ohtani
 
PDF
T2 webframework
byShinpei Ohtani
 
PPT
Struts2を始めよう!
byShinpei Ohtani
 
PPT
Struts2 in a nutshell
byShinpei Ohtani
 
PPT
ASP.NET MVC 1.0
byShinpei Ohtani
 
Amazon Aurora
byShinpei Ohtani
 
AWS Lambda and Amazon API Gateway
byShinpei Ohtani
 
ECS for Docker Meetup #4
byShinpei Ohtani
 
JVM的な何か@JVM Operation Casual Talk
byShinpei Ohtani
 
Amazon kinesisで広がるリアルタイムデータプロセッシングとその未来
byShinpei Ohtani
 
Amazon Elastic MapReduce@Hadoop Conference Japan 2011 Fall
byShinpei Ohtani
 
プログラマブルクラウドの薦め
byShinpei Ohtani
 
サンプルから見るMapReduceコード
byShinpei Ohtani
 
Hadoopソースリーディング第１回アジェンダ
byShinpei Ohtani
 
サンプルから見るMap reduceコード
byShinpei Ohtani
 
Hadoopソースリーディング第１回アジェンダ
byShinpei Ohtani
 
T2 Web Framework
byShinpei Ohtani
 
T2 Hacks
byShinpei Ohtani
 
T2 webframework
byShinpei Ohtani
 
Struts2を始めよう!
byShinpei Ohtani
 
Struts2 in a nutshell
byShinpei Ohtani
 
ASP.NET MVC 1.0
byShinpei Ohtani
 

Recently uploaded

PDF
論文紹介："Reflexion: language agents with verbal reinforcement learning", "MA-LMM...
byToru Tamaki
 
PDF
ADAS自動運転の未来: 次世代の技術革新が切り開く新しいモビリティ社会とその可能性
byData Source
 
PDF
ReflecTrace: Hover Interface using Corneal Reflection Images Captured by Smar...
bysugiuralab
 
PDF
論文紹介： "Locality-Aware Zero-Shot Human-Object Interaction Detection" "Disentan...
byToru Tamaki
 
PDF
手軽に広範囲でプライバシーを守りながら人数カウントできる ～ LoRaWAN AI人流カウンター PF52 日本語カタログ
byCRI Japan, Inc.
 
PDF
AIプロセッサの未来: 革新技術が切り開く次世代コンピュータ革命とその無限の可能性
byData Source
 
PDF
ADAS自動車の未来: 次世代運転支援技術が実現する新たな運転体験とその進化の可能性
byData Source
 
PDF
AIアクセラレーターの力で加速する次世代AI技術: 革新が変革するテクノロジーの未来
byData Source
 
PDF
論文紹介：Simultaneous Detection and Interaction Reasoning for Object-Centric Acti...
byToru Tamaki
 
PDF
論文紹介："MM-Tracker: Motion Mamba for UAV-platform Multiple Object Tracking", "M...
byToru Tamaki
 
PDF
歴史好きのスクラム話 JBUG名古屋#5 AI時代のデータドリブンなプロジェクト管理
byTatsuya Naiki
 
PDF
AIアクセラレータの力で加速する人工知能の未来: 技術革新と産業革命を促進する力
byData Source
 
PDF
AIアクセラレーターが切り拓く未来: 技術革新の加速とそれがもたらす社会的・経済的影響
byData Source
 
論文紹介："Reflexion: language agents with verbal reinforcement learning", "MA-LMM...
byToru Tamaki
 
ADAS自動運転の未来: 次世代の技術革新が切り開く新しいモビリティ社会とその可能性
byData Source
 
ReflecTrace: Hover Interface using Corneal Reflection Images Captured by Smar...
bysugiuralab
 
論文紹介： "Locality-Aware Zero-Shot Human-Object Interaction Detection" "Disentan...
byToru Tamaki
 
手軽に広範囲でプライバシーを守りながら人数カウントできる ～ LoRaWAN AI人流カウンター PF52 日本語カタログ
byCRI Japan, Inc.
 
AIプロセッサの未来: 革新技術が切り開く次世代コンピュータ革命とその無限の可能性
byData Source
 
ADAS自動車の未来: 次世代運転支援技術が実現する新たな運転体験とその進化の可能性
byData Source
 
AIアクセラレーターの力で加速する次世代AI技術: 革新が変革するテクノロジーの未来
byData Source
 
論文紹介：Simultaneous Detection and Interaction Reasoning for Object-Centric Acti...
byToru Tamaki
 
論文紹介："MM-Tracker: Motion Mamba for UAV-platform Multiple Object Tracking", "M...
byToru Tamaki
 
歴史好きのスクラム話 JBUG名古屋#5 AI時代のデータドリブンなプロジェクト管理
byTatsuya Naiki
 
AIアクセラレータの力で加速する人工知能の未来: 技術革新と産業革命を促進する力
byData Source
 
AIアクセラレーターが切り拓く未来: 技術革新の加速とそれがもたらす社会的・経済的影響
byData Source
 

はやわかりHadoop