ALBの新機能 Automatic Target Weightsとgray failuresについて考えてみる

Transcript

1. ALBの新機能 Automatic Target Weightsと gray failuresについて考えてみる NW-JAWS #11 はたはた

2. アジェンダ ⚫はじめに ⚫ALBの新機能 Automatic Target Weightsについて ⚫gray failuresについて ⚫Automatic Target

   Weightsを使ったgray failuresへの対応

3. 前置き ⚫12/18開催の OpsJAWS の re:Cap で登壇した内容と共通している部分があります ⚫アーカイブもありますので、ご興味ある方ぜひご覧ください！ ⚫https://www.youtube.com/live/3II5p_llzcc?si=8xWge18b68N8P5hM https://speakerdeck.com/hatahata021/tried-workshop-advanced-multi-az-resilience-patterns

4. アジェンダ ⚫はじめに ⚫ALBの新機能 Automatic Target Weightsについて ⚫gray failuresについて ⚫Automatic Target

   Weightsを使ったgray failuresへの対応

5. 自己紹介 名前： 畠山 大治 業務： AWSを使ったインフラ構築 @アイレット株式会社 趣味： Perfumeを追いかける（ファンクラブ 9年目）

   読書、映画・アニメを見る 資格： AWS認定全冠、GC認定ACE 好きなAWSサービス： VPC @hatake_book

6. re:Inventに初参加してきました！

7. re:Inventに初参加してきました！ 参加レポを書いているので、気になる方はぜひ読んでください https://qiita.com/hatahatahata/items/6418944d7d07df7649fe 期間中の最速参加レポもたくさん書きました！ https://iret.media/tag/reinvent

8. アジェンダ ⚫はじめに ⚫ALBの新機能 Automatic Target Weightsについて ⚫gray failuresについて ⚫Automatic Target

   Weightsを使ったgray failuresへの対応

9. ALBの新機能 Automatic Target Weightsについて ⚫公式ブログより引用（元は英文） Application Load Balancer (ALB) の背後にあるターゲットの灰色の障害

   を検出して軽減する機能を提供します 灰色の障害は、ALB ターゲットがアクティブなロード バランサーの ヘルス チェックに合格し、正常に見えてもエラーが返される場合に 発生します

10. ALBの新機能 Automatic Target Weightsについて ⚫簡単にまとめると… ⚫ ALBのヘルスチェックでは気づけない異常を検知する ⚫ 異常があったターゲットへのトラフィックを調整することも可 ⚫ヘルスチェックでは気づけない異常の例

    ⚫アプリケーション上のバグ ⚫依存関係に起因する障害 ⚫たまにパケットが損失する ⚫ターゲットの過負荷 など これらの異常検知、暫定対応が ALBだけで対応可能に！

11. アジェンダ ⚫はじめに ⚫ALBの新機能 Automatic Target Weightsについて ⚫gray failuresについて ⚫Automatic Target

    Weightsを使ったgray failuresへの対応

12. 灰色の障害(gray failures)とは ざっくりまとめると… システム全体が正常な状態であるように見えても、 ワークロード（システムの中で動いている処理単体） の観点で見ると異常が発生している状態のこと

13. gray failuresの危険な点 ⚫迅速な障害検知と対応が難しい ⚫障害による影響を軽減するまでの時間が長くなりがち ⚫「気づいたらシステム障害に発展してた」なんてことに ⚫根本的原因が解決されないと再発しかねない

14. gray failuresの例：その１

15. gray failuresの例：その１ よくあるWebサーバー＋NLBの構成で考えると… AZ間の通信に障害が 発生しても… 図引用：https://catalog.workshops.aws/multi-az-gray-failures/en-US/workshop-overview

16. gray failuresの例：その１ Route53ヘルスチェック： 異常なし AZ間の通信に障害が 発生しても… よくあるWebサーバー＋NLBの構成で考えると… 図引用：https://catalog.workshops.aws/multi-az-gray-failures/en-US/workshop-overview

17. gray failuresの例：その１ Route53ヘルスチェック： 異常なし AZ間の通信に障害が 発生しても… AutoScalingグループ： 異常なし よくあるWebサーバー＋NLBの構成で考えると… 図引用：https://catalog.workshops.aws/multi-az-gray-failures/en-US/workshop-overview

18. gray failuresの例：その１ Route53ヘルスチェック： 異常なし AZ間の通信に障害が 発生しても… AutoScalingグループ： 異常なし Aurora：異常なし フェイルオーバーなし

    よくあるWebサーバー＋NLBの構成で考えると… 図引用：https://catalog.workshops.aws/multi-az-gray-failures/en-US/workshop-overview

19. gray failuresの例：その１ Route53ヘルスチェック： 異常なし AZ間の通信に障害が 発生しても… AutoScalingグループ： 異常なし システム的に異常はないようにみえるが、 実は裏でAZ間の通信障害が発生している！！

    Aurora：異常なし フェイルオーバーなし よくあるWebサーバー＋NLBの構成で考えると… 図引用：https://catalog.workshops.aws/multi-az-gray-failures/en-US/workshop-overview

20. gray failuresの例：その２

21. gray failuresの例：その２ ⚫従来のALBで起こりうるgray failures アプリケーション上 でエラー発生！

22. gray failuresの例：その２ ⚫従来のALBで起こりうるgray failures アプリケーション上 でエラー発生！ ヘルスチェック オールOK CPU、メモリ正常 スケーリングなし

23. gray failuresの例：その２ ⚫従来のALBで起こりうるgray failures アプリケーション上 でエラー発生！ ヘルスチェック オールOK なんか挙動が変だな… CPU、メモリ正常

    スケーリングなし

24. アジェンダ ⚫はじめに ⚫ALBの新機能 Automatic Target Weightsについて ⚫gray failuresについて ⚫Automatic Target

    Weightsを使ったgray failuresへの対応

25. ターゲット異常の検知 ⚫gray failuresの原因は標準的なメトリクスでは検知できない ことが多い、一工夫必要 ⚫ALBのATWを使えばマネージドに検知が可能 今回のアップデートにより 追加された項目

26. ターゲット異常時の対応 ⚫アルゴリズムを加重ランダムに設定すると、ターゲット異常時 のトラフィック調整機能がデフォルトでONになる

27. 参考：gray failuresからの復旧 一般的な考え方 ⚫まずはデータプレーンのアクション、その後コントロール プレーンのアクションを使用して復旧する https://speakerdeck.com/yoshiiryo1/opsjaws-meetup24-jing-de-an-ding-xing-wokao-eru-yi-cun- sinaiakitekutiya?slide=6

28. 参考：gray failuresからの復旧 一般的な考え方 ⚫コントロールプレーンのアクション ⚫コントロールプレーンはデータプレーンよりも複雑なので、 障害が発生しやすい ⚫障害が発生しているとアクションが失敗し、復旧できなくなる ⚫データプレーンのアクション ⚫コントロールプレーンと比較するとシンプル、障害が起きにくい ⚫先にデータプレーンのアクションで対応、次にコントロールプレーンの

    アクションで対応、という流れの方が失敗確率が低い

29. 今回の例で考えてみると…

30. 例その2 ALB+ASGの構成で考えてみる ⚫対応方針 ⚫障害が発生したAZ向きの トラフィックを調整 ⚫対応策 ⚫ATWでトラフィックの重み付け を変更する データプレーンアクション コントロールプレーンアクション

    ⚫対応方針 ⚫障害が発生したAZでリソースの構 成を変更する ⚫対象のAZを設定から除外してリ ソース追加を防ぐ、など ⚫対応策 ⚫AutoScalingグループの設定を 変更する

31. まとめ ⚫ALBの新機能 Automatic Target Weights を使うとALBのヘルスチェック で気づけない障害を検知できる ⚫検知後はトラフィックの調整も可能 ⚫ATWを使うことでgray failuresに対応しやすくなる

32. 参考情報 ⚫Automatic Target Weights リリースのお知らせ ⚫ https://aws.amazon.com/jp/about-aws/whats-new/2023/11/application-load-balancer-availability- target-weights/ ⚫ATWについての紹介ブログ ⚫

    https://aws.amazon.com/jp/blogs/networking-and-content-delivery/improving-availability-with- application-load-balancer-automatic-target-weights/ ⚫ホワイトペーパー：gray failures ⚫ https://docs.aws.amazon.com/ja_jp/whitepapers/latest/advanced-multi-az-resilience-patterns/gray- failures.html