Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
Daisuke Yamazaki
PPTX, PDF
36,778 views
スケールアウト再考
数千億アクセスをさばくための考え方についてまとめました。
Engineering
◦
Read more
128
Save
Share
Embed
Embed presentation
Download
Downloaded 76 times
1
/ 32
2
/ 32
3
/ 32
4
/ 32
5
/ 32
6
/ 32
7
/ 32
8
/ 32
9
/ 32
10
/ 32
11
/ 32
12
/ 32
13
/ 32
14
/ 32
15
/ 32
16
/ 32
17
/ 32
18
/ 32
19
/ 32
20
/ 32
21
/ 32
22
/ 32
23
/ 32
24
/ 32
25
/ 32
26
/ 32
27
/ 32
28
/ 32
29
/ 32
30
/ 32
31
/ 32
32
/ 32
More Related Content
PDF
テスト文字列に「うんこ」と入れるな
by
Kentaro Matsui
PPTX
今まで学び実践してきたこと
by
Daisuke Yamazaki
PPTX
Ruby World Conference 2019 rubyによる超大量データ配信
by
Daisuke Yamazaki
PPTX
DockerコンテナでGitを使う
by
Kazuhiro Suga
PPTX
グラフ構造のデータモデルをPower BIで可視化してみた
by
CData Software Japan
PDF
20分でわかるgVisor入門
by
Shuji Yamada
PDF
ChatGPT 人間のフィードバックから強化学習した対話AI
by
Shota Imai
PDF
Marp Tutorial
by
Rui Watanabe
テスト文字列に「うんこ」と入れるな
by
Kentaro Matsui
今まで学び実践してきたこと
by
Daisuke Yamazaki
Ruby World Conference 2019 rubyによる超大量データ配信
by
Daisuke Yamazaki
DockerコンテナでGitを使う
by
Kazuhiro Suga
グラフ構造のデータモデルをPower BIで可視化してみた
by
CData Software Japan
20分でわかるgVisor入門
by
Shuji Yamada
ChatGPT 人間のフィードバックから強化学習した対話AI
by
Shota Imai
Marp Tutorial
by
Rui Watanabe
What's hot
PDF
組織にテストを書く文化を根付かせる戦略と戦術
by
Takuto Wada
PDF
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
by
NTT DATA Technology & Innovation
PDF
CircleCI vs. CodePipeline
by
HonMarkHunt
PDF
落合陽一 筑波大 講演資料 10月17日
by
Yoichi Ochiai
PDF
Python 3.9からの新定番zoneinfoを使いこなそう
by
Ryuji Tsutsui
PPTX
WayOfNoTrouble.pptx
by
Daisuke Yamazaki
PDF
SIGMOD 2019 参加報告
by
Masafumi Oyamada
PPTX
ゲームエンジニアのためのデータベース設計
by
sairoutine
PDF
【TECH×GAME COLLEGE#32】ゼロからリアルタイムサーバーを作るまで
by
techgamecollege
PDF
Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜
by
Takahiko Ito
PDF
RSA暗号運用でやってはいけない n のこと #ssmjp
by
sonickun
PDF
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
by
Ken'ichi Matsui
PDF
速習!論理レプリケーション ~基礎から最新動向まで~(PostgreSQL Conference Japan 2022 発表資料)
by
NTT DATA Technology & Innovation
PDF
ソーシャルゲーム案件におけるDB分割のPHP実装
by
infinite_loop
PDF
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
by
Preferred Networks
PDF
これからSpringを使う開発者が知っておくべきこと
by
土岐 孝平
PDF
確率的自己位置推定
by
Horiguchi Shuhei
PPTX
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
PDF
Machine learning CI/CD with OSS
by
yusuke shibui
PDF
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
by
株式会社MonotaRO Tech Team
組織にテストを書く文化を根付かせる戦略と戦術
by
Takuto Wada
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
by
NTT DATA Technology & Innovation
CircleCI vs. CodePipeline
by
HonMarkHunt
落合陽一 筑波大 講演資料 10月17日
by
Yoichi Ochiai
Python 3.9からの新定番zoneinfoを使いこなそう
by
Ryuji Tsutsui
WayOfNoTrouble.pptx
by
Daisuke Yamazaki
SIGMOD 2019 参加報告
by
Masafumi Oyamada
ゲームエンジニアのためのデータベース設計
by
sairoutine
【TECH×GAME COLLEGE#32】ゼロからリアルタイムサーバーを作るまで
by
techgamecollege
Elasticsearch の検索精度のチューニング 〜テストを作って高速かつ安全に〜
by
Takahiko Ito
RSA暗号運用でやってはいけない n のこと #ssmjp
by
sonickun
数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
by
Ken'ichi Matsui
速習!論理レプリケーション ~基礎から最新動向まで~(PostgreSQL Conference Japan 2022 発表資料)
by
NTT DATA Technology & Innovation
ソーシャルゲーム案件におけるDB分割のPHP実装
by
infinite_loop
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
by
Preferred Networks
これからSpringを使う開発者が知っておくべきこと
by
土岐 孝平
確率的自己位置推定
by
Horiguchi Shuhei
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
Machine learning CI/CD with OSS
by
yusuke shibui
信頼性とアジリティを同時に上げろ!モノタロウのカナリアリリース導入.pdf
by
株式会社MonotaRO Tech Team
Viewers also liked
PDF
30分でわかる広告エンジンの作り方
by
Daisuke Yamazaki
PPT
Rtb30min
by
Daisuke Yamazaki
PPT
RailsとCで広告システムを作って起業した話
by
Daisuke Yamazaki
PPTX
高速な広告配信サーバの作り方のコツ
by
Innami Satoshi
PPTX
HTTPプロキシによるゼロダウンタイムなアドサーバー移行
by
Ryo Aita
PPTX
WebRTCサービスを個人で運営してみた話
by
Junki Mizushima
PPTX
HTTPとサーバ技術の最新動向
by
Kazuho Oku
PDF
ソノアプリ リジェクト サレルッテヨ
by
Keisuke Tsukagoshi
PDF
Extra view @ kyobashi.swift
by
Keisuke Tsukagoshi
PDF
ソフトウェアエンジニアに知ってほしいAerospike
by
株式会社ジオロジック
PPT
アドテク案件入門講座 8月20日(公開版)
by
伊藤 孝
PDF
フルスクラッチで書いたアドサーバの開発運用史
by
Innami Satoshi
PDF
JavaScript Unit Test Why? What? How?
by
Teppei Sato
PDF
Goでwebアプリを開発してみよう
by
Takuya Ueda
PPTX
STFとAppiumをもちいたAndroidアプリの自動テスト
by
Toshiyuki Hirata
KEY
広告の最適化
by
章平 福井
KEY
機関車トーマスで説明するRTB
by
Hisatoshi Kikumoto
PDF
Practical ngx_mruby
by
Hiroshi SHIBATA
PDF
メディアマネタイズは次の世界へ。プライベートマーケットプレイス超入門
by
Shoho Kozawa
PDF
アサマスタークロスウォーク2010
by
Takayuki TERASHIMA
30分でわかる広告エンジンの作り方
by
Daisuke Yamazaki
Rtb30min
by
Daisuke Yamazaki
RailsとCで広告システムを作って起業した話
by
Daisuke Yamazaki
高速な広告配信サーバの作り方のコツ
by
Innami Satoshi
HTTPプロキシによるゼロダウンタイムなアドサーバー移行
by
Ryo Aita
WebRTCサービスを個人で運営してみた話
by
Junki Mizushima
HTTPとサーバ技術の最新動向
by
Kazuho Oku
ソノアプリ リジェクト サレルッテヨ
by
Keisuke Tsukagoshi
Extra view @ kyobashi.swift
by
Keisuke Tsukagoshi
ソフトウェアエンジニアに知ってほしいAerospike
by
株式会社ジオロジック
アドテク案件入門講座 8月20日(公開版)
by
伊藤 孝
フルスクラッチで書いたアドサーバの開発運用史
by
Innami Satoshi
JavaScript Unit Test Why? What? How?
by
Teppei Sato
Goでwebアプリを開発してみよう
by
Takuya Ueda
STFとAppiumをもちいたAndroidアプリの自動テスト
by
Toshiyuki Hirata
広告の最適化
by
章平 福井
機関車トーマスで説明するRTB
by
Hisatoshi Kikumoto
Practical ngx_mruby
by
Hiroshi SHIBATA
メディアマネタイズは次の世界へ。プライベートマーケットプレイス超入門
by
Shoho Kozawa
アサマスタークロスウォーク2010
by
Takayuki TERASHIMA
スケールアウト再考
1.
スケールアウト再考 〜数千億アクセスへの道〜 Supership 山崎大輔(@yamaz)
2.
山崎大輔(@yamaz) Supership 取締役 (旧Scaleout代表) Scaleoutはnanapi, Bitcellerと合併して Supershipになりました。 広告システムと検索システム作ってます。
3.
広告システムについて システム : インターネット広告システム アクセス
: 月間数千億〜 サーバ台数: 1000台程度 レスポンス : 〜100msec ユーザ数 : 数億UU〜 上記のシステムを安定運用するための考え方 について話したいと思います。
4.
現在のインターネット 広告配信の仕組み 4 DSP メディア側広告サーバ(SSP) DSP DSP ③ビッディング ①広告Request ②オークション 開催 ブラウザ
④広告Result 広告1配信(1imp)ごとにオークションを行う
5.
(参考)弊社採用のソフトウェア群 配信系: nginx, apache,
独自エンジン(C++) KVS: memcached, 独自KVS(tokyocabinetベース) 集計: hadoop, hive, spark, vertica 管理画面: Ruby On Rails DB : PostgreSQL ほぼオンプレ
6.
いきなりですが、質問です。
7.
いつも10人並んでるATMが1台があります. ここで新たにATMを1台足すと行列の数はどうな るでしょう? ATM ATM ATM
8.
答え だいたい0人に近づいていく
9.
いつも10人並んでるATMとは → 単位時間に到着する人数とATMが 処理できる人数が釣り合ってるということ いつも10人 ATM
10.
ATMが1台増えると? → ATMが処理できる人数の方が多くなる → 行列の数がどんどん減っていく →
最終的に0人になる ATM ATM
11.
ATMの処理性能 < 到着数の時 処理が間に合ってないってことな ので、行列がどんどん増えて 最終的にめちゃくちゃ遅くなる
12.
ATMの処理性能 > 到着数の時 処理が間に合ってるってことなの で、行列がどんどん減って最終的 には0に近づく
13.
リトルの公式(Little’s formula) 平均の待ち行列の数 L =
λ * W L: システムの平均待ち行列数 λ: システムの平均到着率 W: システムの平均待ち時間
14.
ここまでのまとめ イイネ! システムの処理性能 > アクセス ヨクナイネ! システムの処理性能
< アクセス
15.
スケールアップとスケールアウト
16.
スケールアップとスケールアウト どちらも システムの処理性能 > アクセス を維持するための手法
17.
スケールアップとスケールアウト スケールアップ: システムの処理性能 > アクセス になるまでサーバをパワーアップ スケールアウト: システムの処理性能
> アクセス になるまでサーバを増やす
18.
スケールアウトという手法 システムの処理性能 > アクセス になるまでサーバを増やす ではなく システムの処理性能
> アクセス になるまで1台あたりのアクセスとデータ量を減らす と考えてみる
19.
(おさらい)システムの処理性能 < アクセス →
待ち行列がどんどん増えていく → システムはどんどん遅くなる ATM
20.
システムの処理性能 < アクセス 1%しか超えてなくても、この状態が ずーっと続く限りは待ち行列は永遠に 増える →システムは無限に遅くなる
21.
スケールアウトあるある 応答速度が10倍遅くなった! えぇっ?10倍サーバを足す必要があるの?? →必要ありません システムの処理性能 > アクセス を満たせばいいので、大抵の場合数割の増強で 事足りるはず
22.
逆を言うと? 1台あたり数割の性能劣化が10倍以上の速度 低下をもたらす可能性がある!!
23.
ミドルウェアの選定基準 ピーク性能ではなく、性能の安定度(分散の小 ささ)に着目する パフォーマンスが不安定なものはピーク性能が 良くても良くないものだと考える
24.
性能の分散が小さい =制御しやすい ソフトA ソフトB 性能高性能低 品質工学の考え方: ソフトBのほうがよいと考える
25.
ミドルウェアの選定基準 1. 複雑な機構を持ったものを避け、単純なもの を採用する 2. GCやデータリバランスなどコントロールしにく い挙動のものを避ける 「やかんは壊れない」の心意気
26.
スケールアウトあるある システムは設計を端折ったところからほころび 始める。 あらゆる箇所が現在の100倍になっても大丈夫 か確認しましょう。
27.
スケールアウトあるある 処理能力を超えると一気にダメになる 対策: - ピークアクセス時の予兆を見逃さない - カナリアサーバの準備 -
アクセスの強制的な平滑化
28.
スケールアウトあるある 処理能力を超えると一気にダメになる 対策: - ピークアクセス時の予兆を見逃さない - カナリアサーバの準備 -
アクセスの強制的な平滑化
29.
スケールアウトあるある 処理能力を超えると一気にダメになる 対策: - ピークアクセス時の予兆を見逃さない - カナリアサーバの準備 -
アクセスの強制的な平滑化
30.
スケールアウトあるある 処理能力を超えると一気にダメになる 対策: - ピークアクセス時の予兆を見逃さない - カナリアサーバの準備 -
アクセスの強制的な平滑化
31.
それでもダメなら スケールアップも積極的に検討しましょう。 SSDには随分と助けられました。 なおネットワーク帯域はスケールアップしにくい 領域なので、極力ネットワーク負荷の低いシス テム設計にしましょう。
32.
最後に 1. 「システムの処理性能 >
アクセス」の維持を強く意識 しましょう 2. 普通をきちんと積み重ねるだけで数1000億のアクセ スは十分対応可能 3. とはいえ、大量アクセスを浴び続けることで養われる ものもある そんなシステムを取り回してみたい方はぜひ弊社に! http://recruit.supership.jp/
Download