実運用して分かったRabbit MQの良いところ・気をつけること #jjug
10 likes25,209 views
JJUG ナイトセミナー 「メッセージングミドルウェア特集」のRabbitMQの発表資料です。 https://jjug.doorkeeper.jp/events/65028
実運用して分かったRabbit MQの良いところ・気をつけること #jjug
- 1. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 祖父江 翔 実運用して分かったRabbitMQの 良いところ・気をつけること 2017年9月27日
- 2. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 自己紹介 祖父江 翔（そぶえ しょう） マーケティングソリューションズカンパニー開発本部 新卒入社7年目 配属されてからずっと広告関連の開発 入稿→アカウント→開発基盤 2
- 3. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 本日の内容 • Rabbit MQとは • 広告システム内でのRabbit MQ • 導入前の課題 • 動機 • 良いところ • 気をつけること • 構成 • プロビジョニング • 保守・運用 • まとめ 3
- 4. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . RabbitMQとは
- 5. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . RabbitMQ RabbitMQ is the most widely deployed open source message broker. With more than 35,000 production deployments of RabbitMQ world-wide at small startups and large enterprises, RabbitMQ is the most popular open source message broker. RabbitMQ is lightweight and easy to deploy on premises and in the cloud. It supports multiple messaging protocols. RabbitMQ can be deployed in distributed and federated configurations to meet high-scale, high-availability requirements. 5 RabbitMQ - Messaging that just works, https://www.rabbitmq.com/ トップページより引用
- 6. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 要はRabbitMQとは • オープンソースのメッセージブローカー • 軽量でデプロイをオンプレミスでも クラウドでも利用可能 • 複数のメッセージプロトコル対応 • スタンドアローンでもクラスタでも構築可能 6
- 7. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 多言語サポート • 公式で用意されているのは Erlang, Java, C#のみ • Ruby, Python, PHPなど提供 7 Clients & Developer Tools, https://www.rabbitmq.com/devtools.html
- 8. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . PluginやAPI • Pluginが豊富 • 基本機能以外の付け足しが可能 • プロトコルや認証機能の追加が可能 • 管理画面の導入で運用負荷の軽減も可能 • APIが用意されている • リソースやトラフィックの監視が可能 8 Plugins, https://www.rabbitmq.com/plugins.html
- 9. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Management Plugin 9
- 10. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 広告システム内での Rabbit MQ
- 11. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 広告システム 11 FE BEサーバ群 広告配信システム 広告主が出稿 配信面 非同期化部分
- 12. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . RabbitMQ導入前の課題 • ブローカーのないキュー管理の仕組みを利用 • 接続の管理が面倒 • 接続設定の修正が職人芸(気軽にできない) • ProducerとConsumerを気軽に追加できない 12
- 13. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 導入前(設定つらい…) 13 BE APIサーバ 配信システム連携バッチ
- 14. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . キュー管理の仕組みに求めたこと • PHPとJavaで同時に運用できること • 耐障害性があること • ConsumerやProducerを容易に追加できること • スループットが高いこと • 広告入稿のリクエストに耐えられること • 処理単位でルーティングができること 14
- 15. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . RabbitMQを採用 • AMQPで動作する • クライアントライブラリがある • JavaでもPHPでも動作するため、並行期間を設けられる • クラスタを容易に構築できる • ブローカーのスケールアウトができる • ProducerとConsumerが容易に追加できる • トピックとキーでルーティングが可能 15
- 16. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 広告システム 16 FE BEサーバ群 広告配信システム 広告主が出稿 配信面
- 17. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . BEサーバ群の構成 17 BE APIサーバ RabbitMQクラスタ (3台構成) 配信システム連携バッチ
- 18. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 良いところ
- 19. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 言語が混在しても問題なく動作 • JavaからPHPへメッセージの受け渡し • 並行運用しても問題なく動作 19
- 20. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 耐障害性、クライアント設定 • クラスタのノードが1台ダウンしても サービス継続 • クライアントはRabbitMQクラスタを 接続先にすればいい 20
- 21. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 高いスループット • VM3台で1クラスタの構成 • vCPU: 8 • Mem: 16G • Disc: 120G • 1000万msg/dayをConsumerが処理 21
- 22. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 気をつけること
- 23. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 構成
- 24. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . LBを使った構成の罠
- 25. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 複数ノード構成なのでLBを配備してみた • HTTPサーバみたいに LB経由でバランシングする構成に 25 BE APIサーバ RabbitMQクラスタ LB
- 26. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . メッセージが見つからない • システム内で整合性が取れない • ただ、何が消えたのかわからない • リカバリ頑張る、運用でカバー 26
- 27. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . LBを入れてリッチな構成にしたことが仇 • LBがセッション維持しない設定(変更不可) • LBがセッションを定期的に破棄していることが発覚 • JavaのRabbitMQクライアントで LBを使わなくてもクラスタを考慮した接続や 障害時の接続のリカバリが実装されていた 27
- 28. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . LBいらない • ノードを全部列挙する 28 BE APIサーバ RabbitMQクラスタ Host1,Host2,Host3
- 29. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . プロビジョニング
- 30. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . クラスタ止まった
- 31. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . クラスタが応答しなくなった 大量のメッセージがあると応答しない PublishもConsumeもできない状態 処理が遅延してシステムが止まるような事態に… 31
- 32. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 原因その１: ディスクI/O メモリ上で扱わず すべてディスクに書き込む設定 (デフォルト) 設定変更してメモリで扱うように 32 信頼性よりパフォーマンスを重視した設定 ※マスタ1台のみディスク、スレーブ2台をメモリ
- 33. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . ただし、通常はディスク推奨 →通常はディスクのみ、メモリは特殊ケース 33 Clustering Guide: https://www.rabbitmq.com/clustering.html A node can be a disk node or a RAM node. (Note: disk and disc are used interchangeably). In most cases you want all your nodes to be disk nodes; RAM nodes are a special case that can be used to improve the performance clusters with high queue, exchange, or binding churn. When in doubt, use disk nodes only. Clustering Guideより引用
- 34. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 原因その2:トラッフィク統計の設定 • Message ratesの設定(rates_mode) • 管理プラグインを入れるとデフォルトBasicモード • メッセージの転送レートを表示するための設定 • メッセージの流量を観測するには有用な設定 34 Management Plugin: https://www.rabbitmq.com/management.html
- 35. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Message ratesの設定あり 35
- 36. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . Message ratesの設定なし 36
- 37. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 高スループット環境では無効にするべき • このオプションを無効にした途端に スループットが向上 • メトリック監視とパフォーマンスはトレードオフ • 公式でも 37 Alternatively, the message rates can be disabled altogether. This can help get the best possible performance out of a CPU-bound server. Management Plugin: https://www.rabbitmq.com/management.html Management Pluginより引用
- 38. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 保守・運用
- 39. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 無停止で バージョンアップする
- 40. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . サービス停止するわけにいかない • 24時間絶え間なく広告入稿のリクエスト • ミドルウェアのバージョンアップで サービス停止できない 40
- 41. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 切り替え Step1 41 広告配信システム FE Consumer 旧RabbitMQクラスタ BE
- 42. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 切り替え Step2 42 広告配信システム FE Consumer 旧RabbitMQクラスタ BE 新RabbitMQクラスタ
- 43. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 切り替え Step3 43 広告配信システム FE Consumer 旧RabbitMQクラスタ BE 新RabbitMQクラスタ メッセージを 捌き切る
- 44. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 切り替え Step4 44 広告配信システム FE 旧RabbitMQクラスタ BE 新RabbitMQクラスタ Consumer
- 45. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . ネットワーク パーティション
- 46. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . ネットワーク障害！ • ある日、ネットワーク障害発生 • 管理画面開くと… 46
- 47. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . 再起動するしかない 47 • 公式のドキュメントによると… Clustering and Network Partitions: https://www.rabbitmq.com/partitions.html It may be simpler to stop the whole cluster and start it again; if so make sure that the first node you start is from the trusted partition. Clustering and Network Partitionsより引用
- 48. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . まとめ
- 49. Co p yrig ht © 2 0 1 7 Yaho o Jap an Co rp o ratio n. All Rig hts Reserved . まとめ • 良いところ • 高スループット • 耐障害性があり、クライアント設定はシンプル • 多言語対応していて、混在でも並行運用可 • 気をつけること • 特に高スループットが要求される場合は プロビジョニングに注意 • 公式ドキュメントは読み込むべし 49