Download free for 30 days
Sign in
Upload
Language (EN)
Support
Business
Mobile
Social Media
Marketing
Technology
Art & Photos
Career
Design
Education
Presentations & Public Speaking
Government & Nonprofit
Healthcare
Internet
Law
Leadership & Management
Automotive
Engineering
Software
Recruiting & HR
Retail
Sales
Services
Science
Small Business & Entrepreneurship
Food
Environment
Economy & Finance
Data & Analytics
Investor Relations
Sports
Spiritual
News & Politics
Travel
Self Improvement
Real Estate
Entertainment & Humor
Health & Medicine
Devices & Hardware
Lifestyle
Change Language
Language
English
Español
Português
Français
Deutsche
Cancel
Save
Submit search
EN
Uploaded by
paulowniaceae
PDF, PPTX
12,931 views
Consistent hash
(in japanese)コンシステントハッシュ法の簡単な説明でうす。ネットでググって出てくる以上の内容はありません
Read more
24
Save
Share
Embed
Download
Download as PDF, PPTX
1
/ 32
2
/ 32
Most read
3
/ 32
4
/ 32
5
/ 32
6
/ 32
7
/ 32
8
/ 32
9
/ 32
10
/ 32
11
/ 32
12
/ 32
13
/ 32
14
/ 32
15
/ 32
16
/ 32
17
/ 32
18
/ 32
19
/ 32
Most read
20
/ 32
21
/ 32
22
/ 32
23
/ 32
24
/ 32
25
/ 32
26
/ 32
27
/ 32
28
/ 32
29
/ 32
30
/ 32
31
/ 32
32
/ 32
Most read
More Related Content
PPTX
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
PPTX
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
by
NTT DATA Technology & Innovation
PPTX
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
by
NTT DATA Technology & Innovation
PDF
マルチテナント化で知っておきたいデータベースのこと
by
Amazon Web Services Japan
PPTX
地理分散DBについて
by
Kumazaki Hiroki
PPTX
分散システムについて語らせてくれ
by
Kumazaki Hiroki
PDF
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
by
NTT DATA Technology & Innovation
PPTX
押さえておきたい、PostgreSQL 13 の新機能!!(Open Source Conference 2021 Online/Hokkaido 発表資料)
by
NTT DATA Technology & Innovation
本当は恐ろしい分散システムの話
by
Kumazaki Hiroki
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
by
NTT DATA Technology & Innovation
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
by
NTT DATA Technology & Innovation
マルチテナント化で知っておきたいデータベースのこと
by
Amazon Web Services Japan
地理分散DBについて
by
Kumazaki Hiroki
分散システムについて語らせてくれ
by
Kumazaki Hiroki
Grafana LokiではじめるKubernetesロギングハンズオン(NTT Tech Conference #4 ハンズオン資料)
by
NTT DATA Technology & Innovation
押さえておきたい、PostgreSQL 13 の新機能!!(Open Source Conference 2021 Online/Hokkaido 発表資料)
by
NTT DATA Technology & Innovation
What's hot
PDF
わかる!metadata.managedFields / Kubernetes Meetup Tokyo 48
by
Preferred Networks
PDF
Apache Arrow - データ処理ツールの次世代プラットフォーム
by
Kouhei Sutou
PDF
Prometheus at Preferred Networks
by
Preferred Networks
PDF
Infrastructure as Code (IaC) 談義 2022
by
Amazon Web Services Japan
PPTX
PostgreSQLモニタリングの基本とNTTデータが追加したモニタリング新機能(Open Source Conference 2021 Online F...
by
NTT DATA Technology & Innovation
PDF
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
by
NTT DATA OSS Professional Services
PPTX
初心者向けMongoDBのキホン!
by
Tetsutaro Watanabe
PDF
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
by
Preferred Networks
PDF
Python 3.9からの新定番zoneinfoを使いこなそう
by
Ryuji Tsutsui
PDF
AWSのログ管理ベストプラクティス
by
Akihiro Kuwano
PDF
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
by
Yahoo!デベロッパーネットワーク
PDF
トランザクション処理可能な分散DB 「YugabyteDB」入門(Open Source Conference 2022 Online/Fukuoka 発...
by
NTT DATA Technology & Innovation
PDF
超実践 Cloud Spanner 設計講座
by
Samir Hammoudi
PDF
マイクロサービス時代の認証と認可 - AWS Dev Day Tokyo 2018 #AWSDevDay
by
都元ダイスケ Miyamoto
PDF
Dockerからcontainerdへの移行
by
Kohei Tokunaga
PDF
分散システムの限界について知ろう
by
Shingo Omura
PDF
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
by
Amazon Web Services Japan
PDF
YugabyteDBを使ってみよう(NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料)
by
NTT DATA Technology & Innovation
PPTX
Dockerからcontainerdへの移行
by
Akihiro Suda
PPTX
KeycloakでAPI認可に入門する
by
Hitachi, Ltd. OSS Solution Center.
わかる!metadata.managedFields / Kubernetes Meetup Tokyo 48
by
Preferred Networks
Apache Arrow - データ処理ツールの次世代プラットフォーム
by
Kouhei Sutou
Prometheus at Preferred Networks
by
Preferred Networks
Infrastructure as Code (IaC) 談義 2022
by
Amazon Web Services Japan
PostgreSQLモニタリングの基本とNTTデータが追加したモニタリング新機能(Open Source Conference 2021 Online F...
by
NTT DATA Technology & Innovation
Apache Kafkaって本当に大丈夫?~故障検証のオーバービューと興味深い挙動の紹介~
by
NTT DATA OSS Professional Services
初心者向けMongoDBのキホン!
by
Tetsutaro Watanabe
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
by
Preferred Networks
Python 3.9からの新定番zoneinfoを使いこなそう
by
Ryuji Tsutsui
AWSのログ管理ベストプラクティス
by
Akihiro Kuwano
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
by
Yahoo!デベロッパーネットワーク
トランザクション処理可能な分散DB 「YugabyteDB」入門(Open Source Conference 2022 Online/Fukuoka 発...
by
NTT DATA Technology & Innovation
超実践 Cloud Spanner 設計講座
by
Samir Hammoudi
マイクロサービス時代の認証と認可 - AWS Dev Day Tokyo 2018 #AWSDevDay
by
都元ダイスケ Miyamoto
Dockerからcontainerdへの移行
by
Kohei Tokunaga
分散システムの限界について知ろう
by
Shingo Omura
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
by
Amazon Web Services Japan
YugabyteDBを使ってみよう(NewSQL/分散SQLデータベースよろず勉強会 #1 発表資料)
by
NTT DATA Technology & Innovation
Dockerからcontainerdへの移行
by
Akihiro Suda
KeycloakでAPI認可に入門する
by
Hitachi, Ltd. OSS Solution Center.
Similar to Consistent hash
PDF
Consistent Hashingの小ネタ
by
Huy Do
PDF
Jump Consistent Hash
by
hitsu mabushi
PPTX
Coherenceを利用するときに気をつけること #OracleCoherence
by
Toshiaki Maki
PPT
アルゴリズムとデータ構造9
by
Kenta Hattori
PDF
HashTable と HashDos
by
Yuya Takeyama
PDF
[アルゴリズムイントロダクション勉強会] ハッシュ
by
Rei Takami
PDF
[Basic 3] 計算量 / 配列, 連結リスト / ハッシュ テーブル / スタック, キュー
by
Yuto Takei
PDF
ConcurrentHashMap Code Reading
by
Naoyuki Kakuda
PDF
並列データベースシステムの概念と原理
by
Makoto Yui
Consistent Hashingの小ネタ
by
Huy Do
Jump Consistent Hash
by
hitsu mabushi
Coherenceを利用するときに気をつけること #OracleCoherence
by
Toshiaki Maki
アルゴリズムとデータ構造9
by
Kenta Hattori
HashTable と HashDos
by
Yuya Takeyama
[アルゴリズムイントロダクション勉強会] ハッシュ
by
Rei Takami
[Basic 3] 計算量 / 配列, 連結リスト / ハッシュ テーブル / スタック, キュー
by
Yuto Takei
ConcurrentHashMap Code Reading
by
Naoyuki Kakuda
並列データベースシステムの概念と原理
by
Makoto Yui
Consistent hash
1.
@nullpon / id:paulownia コンシステント ハッシュ法 consistent
hashing
2.
コンシステントハッシュ法 分散データベース/キャッシュの保存先を決定 するために開発されたハッシュテーブルのアル ゴリズム
3.
コンシステントハッシュ のアルゴリズム
4.
適当なハッシュ関数を用意 出力値が大小比較可能なハッシュ関数を用意 ※ ここでは、入力値を0から127までの値に変換 する仮想のハッシュ関数 h
で説明する
5.
ノードのIDをハッシュ関数 h で変換 n1:
h("n1") => 25 n2: h("n2") => 120 n3: h("n3") => 50 n4: h("n4") => 95
6.
リング状に配置
7.
データのIDをハッシュ関数 h で変換 a1:
h("a1") => 64 a2: h("a2") => 115 a3: h("a3") => 75 a4: h("a4") => 8 a5: h("a5") => 100 a6: h("a6") => 90 a7: h("a7") => 45 a8: h("a8") => 15
8.
リング状に配置
9.
データの割り当て先ノードは以下の順に決定 データIDのハッシュ値と同じノード データIDより大きいハッシュ値を持つノード のなかで、ハッシュ値が最小のノード ハッシュ値が最小のノード
10.
ノードの追加と削除
11.
ノードの追加
13.
n4のデータの一部がn5へ移動
14.
ノードの削除
16.
n1のデータがn3へ移動
17.
移動するデータ数の平均値 データ数/ノード数
18.
仮想ノード
19.
仮想ノードなしでは、負荷分散が不完全
20.
偏ったリング データが特定のノードに偏り 負荷分散にならない
21.
ノードがダウン 落ちたノードの全データが一つ先のノードへ 移動 一つ先のノードの負荷が2倍 特定のノードに負荷が集中
22.
ノードを追加 1つ先のノードからデータが移動 1つ先のノードの負荷しか減らない 負荷対策にならない
23.
そこで仮想ノード
24.
n1: h("n1"+0) =>
25 n1: h("n1"+1) => 100 n1: h("n1"+2) => 90 n2: h("n2"+0) => 120 n2: h("n2"+1) => 45 n2: h("n2"+2) => 13 … ハッシュ関数 h でノードID+αを変換
25.
リング状に配置 ノード数が増えれば均等に分散する確率が高くなる
26.
ノード4が追加された場合 複数のノードから均等にデータが 移動してくる可能性が高い
27.
ノード1がダウンした場合 ノード1のデータが複数のノードへ 均等に分散することが期待できる
28.
メリット・デメリット
29.
メリット データの割り当て先を自動で決定可能 データをクラスタに均等に分散できる ノードが落ちた時、自動で再割り当て 再割り当てのコストが小さい
30.
デメリット 全てのノードが現在のクラスタの状態を正確に 知ってなければならない。 クラスタ状態の共有コストがかかる
31.
まとめ
32.
コンシステントハッシュを用いると プロセスが1つ2つ程度落ちても問題のない クラスタを構成できる 負荷分散についてエンジニアが手を動かす 必要がない 大規模な分散環境でも運用が楽 (かもしれない)
Download