とある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
7 likes9,341 views
とある AWS サービスの運用移管について。
とある AWS サービスの運用移管〜データストア編〜 #jawsmeguro
- 1. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. とある AWS サービスの運用移管 〜データストア編〜 JAWS-UG Meguro #1 June 26, 2015 Kiyoshi Yasutake DeNA Co., Ltd.
- 2. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 自己紹介 安武 貴世志 @key_amb (きいあむ) DeNA でインフラやってます。 2
- 3. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 今日話すこと とあるAWSサービスの運用移管 移行時に困ったこと MySQL 運用 Tips 3
- 4. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 4 http://iemo.jp/
- 5. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. iemo について http://iemo.jp 住まいに特化したキュレーション プラットフォーム MAU 500万 スマートフォンからのアクセスが 主 5 DeNAがキュレーションプラットフォーム事業を開始～キュレーション プラットフォーム運営会社2社を買収、リアル巨大産業の構造変革を 目指す～ (2014年10月1日)
- 6. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 当時のシステム構成 6
- 7. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 当時のシステム構成 7 SPOF SPOF SPOF SPOF
- 8. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 当時のシステム構成 8 単一AZ
- 9. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 当時の問題点 SPOFが多い 単一AZ構成のコンポーネントが多い その他 9
- 10. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. こんな感じにしました 10
- 11. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. どう改善したか(まとめ) SPOF をなくして、かつ AZ 冗長化した。 ⁃ Web => Multi-AZ に配置 ⁃ RDS => Multi-AZ Active-Standby 構成 ⁃ Redis (ElastiCache) => Multi-AZ Master-Slave 構成 ⁃ Groonga => 諦めました。ゴメンナサイ • Snapshot から速やかに復旧できるようにした 11
- 12. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 移行時に困ったこと ElastiCache (Redis) のメモリサイズが不足していたので、インスタン スタイプを上げたかった 困ったこと: ⁃ 一度作成した Cache Cluster のインスタンスタイプを変更出来ない ⁃ 異なるインスタンスタイプのノードをレプリケーショングループに 加えることもできない AWS ElastiCache Redis のイケてないところ ※2014/12/21 時点 - weblog of key_amb 12
- 13. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. どうやったか インスタンスタイプを上げた別の Cache Cluster を作成し、アプリケー ション側で向き先変更 今回は Redis 上のデータロストは許容した 13
- 14. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. ここからデータストアの話 14
- 15. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. DB KPI とは？ DB(=MySQL) の性能を測る Key Performance Indicators SHOW GLOBAL STATUS で取れる Threads_running を特に重視し ています。 その他いろいろな値を秒単位で取得し、DBに格納しています。 ⁃ Query Per Second ⁃ Connections ⁃ innodb_rows_read ⁃ innodb_data_reads ⁃ innodb_buffer_pool_read_requests ⁃ : トラブルシューティングの強い味方 15
- 16. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. DB KPI 構成図 16
- 17. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. DB KPI in iemo 17
- 18. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. DB KPI in iemo EC2 に MySQL は立てないことにした。 ⁃ ※本来の DeNA の運用ならすべて EC2 だが、運用移管当初はやら ない判断 何かあったときログで見られれば十分という判断。 18
- 19. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. そして、Global Infra へ このように iemo 運用移管では、サービス運用上、クリティカルな部分 には対応しつつも、まずは既存の構成にあまり手を加えずに運用を引き 取った。 …が、iemo だけ他のサービスと揃っていないのは、運用メンバーにと って負担になるので、他サービスに構成を揃えていく方針 Global Infra ⁃ DeNA の内製インフラフレームワーク ⁃ 各種監視・運用ツールが入ったパッケージ ⁃ オンプレミス、AWS環境に両対応 ⁃ YAPC::Asia Tokyo 2015 にトーク応募していました: • 続々とリリースされるサービスのインフラを支える技術 19
- 20. Copyright (C) DeNA Co.,Ltd. All Rights Reserved. 20 Thank You!!