意外と知らない状態遷移テストの世界

Transcript

1. 意外と知らない 状態遷移テストの世界 ブロッコリー (@nihonbuson)

2. 自己紹介 • 風間裕也（ブロッコリー） • 株式会社10X 品質管理チーム • 副業…B-Testing（個人事業主）として ◦ 株式会社MonotaRO（テストコンサルタント）

   他数社でお手伝い • 社外活動 ◦ WACATE実行委員長 ◦ JaSST Review実行委員長 ◦ Developers Summitコンテンツ委員 ◦ SReEE（ソフトウェアレビューを エンジニアリングっぽく捉える会）リーダー • 猫派 SNS上の アイコン

3. 状態遷移テストとは何か

4. 状態遷移テストとは何か ブラックボックステスト技法のひとつ。状態遷移モデルの 要素を実行するようにテストケースを設計する。 状態遷移テスト（state transition testing） - ISTQB Glossary

5. 例題を用いて説明 ストップウォッチの 「スタート/ストップ」ボタンと 「リセット」ボタンについて どんなテストをしますか？ ※計測部分は正確であり、 　テスト対象外とする ※ラップ機能は搭載していないとする スタート /ストップ

   リセット https://goo.gl/iAvVm8

6. 状態遷移図の作成

7. 状態遷移図とは何か 状態遷移図は、システムの取り得る状態と有効な遷移を 示すことで、システムの振る舞いをモデル化する。 遷移は、イベントによって開始され、さらにガード条件に よって限定されることがある。 遷移は瞬時に起きることを想定しており、遷移によってソ フトウェアがアクションを起こす場合がある。 ISTQBテスト技術者資格制度 Foundation Level

   シラバス 日本語版 Version 2023V4.0.J02 4.2.4 状態遷移テスト

8. 状態遷移図の作成 待機中

9. 状態遷移図の作成 待機中 状態

10. 状態遷移図の作成 待機中 開始擬似 状態

11. 状態遷移図の作成 待機中 計測中 スタート/ ストップ 押下

12. 状態遷移図の作成 待機中 計測中 スタート/ ストップ 押下 イベント

13. 状態遷移図の作成 待機中 計測中 遷移 スタート/ ストップ 押下

14. 状態遷移図の作成 待機中 計測中 一時停止中 スタート/ ストップ 押下 スタート/ ストップ 押下

15. 状態遷移図の作成 待機中 計測中 一時停止中 スタート/ ストップ 押下 スタート/ ストップ 押下

    スタート/ ストップ 押下

16. 状態遷移図の作成 待機中 計測中 一時停止中 リセット 押下 スタート/ ストップ 押下 スタート/

    ストップ 押下 スタート/ ストップ 押下

17. 状態遷移図を積極的に作成すべきパターン① 待機中 計測中 スタート/ ストップ 押下 一時停止中 同じイベントでも前状態によって 遷移先の状態が異なる場合に作成すると良い スタート/

    ストップ 押下 スタート/ ストップ 押下 リセット 押下

18. 状態遷移図を積極的に作成すべきパターン② 待機中 計測中 一時停止中 同じ状態でもイベントによって 遷移先の状態が異なる場合に作成すると良い スタート/ ストップ 押下 スタート/

    ストップ 押下 スタート/ ストップ 押下 リセット 押下

19. 状態表の作成

20. 状態表は、状態遷移図に相当するモデルである。 行は状態を表し、 列はイベント（存在する場合はガード条件）を表す。 テーブルの項目（セル）は遷移を表し、 ターゲット状態、ガード条件、 および定義されている場合は結果のアクションを含む。 状態遷移図とは対照的に、状態表は無効な遷移を明示的に 示し、空のセルで表す。 ISTQBテスト技術者資格制度 Foundation

    Level シラバス 日本語版 Version 2023V4.0.J02 4.2.4 状態遷移テスト 状態表

21. 状態表の作成 待機中 計測中 スタート/ ストップ 押下 一時停止中 スタート/ ストップ 押下

    スタート/ ストップ 押下 リセット 押下 動作 スタート/ストップ押下 リセット押下 前状態 待機中 計測中 一時停止中

22. 状態表の作成 待機中 計測中 スタート/ ストップ 押下 一時停止中 スタート/ ストップ 押下

    スタート/ ストップ 押下 リセット 押下 動作 スタート/ストップ押下 リセット押下 前状態 待機中 計測中 計測中 一時停止中

23. 状態表の作成 待機中 計測中 スタート/ ストップ 押下 一時停止中 スタート/ ストップ 押下

    スタート/ ストップ 押下 リセット 押下 動作 スタート/ストップ押下 リセット押下 前状態 待機中 計測中 計測中 一時停止中 一時停止中

24. 状態表の作成 待機中 計測中 スタート/ ストップ 押下 一時停止中 スタート/ ストップ 押下

    スタート/ ストップ 押下 リセット 押下 動作 スタート/ストップ押下 リセット押下 前状態 待機中 計測中 計測中 一時停止中 一時停止中 計測中

25. 状態表の作成 待機中 計測中 スタート/ ストップ 押下 一時停止中 スタート/ ストップ 押下

    スタート/ ストップ 押下 リセット 押下 動作 スタート/ストップ押下 リセット押下 前状態 待機中 計測中 計測中 一時停止中 一時停止中 計測中 待機中

26. 状態表の作成 待機中 計測中 スタート/ ストップ 押下 一時停止中 スタート/ ストップ 押下

    スタート/ ストップ 押下 リセット 押下 動作 スタート/ストップ押下 リセット押下 前状態 待機中 計測中 計測中 一時停止中 一時停止中 計測中 待機中

27. 状態表の作成 待機中 計測中 スタート/ ストップ 押下 一時停止中 スタート/ ストップ 押下

    スタート/ ストップ 押下 リセット 押下 リセット 押下 リセット 押下 動作 スタート/ストップ押下 リセット押下 前状態 待機中 計測中 計測中 一時停止中 一時停止中 計測中 待機中

28. 状態表の作成 待機中 計測中 スタート/ ストップ 押下 一時停止中 スタート/ ストップ 押下

    スタート/ ストップ 押下 リセット 押下 リセット 押下 リセット 押下 自己遷移は ハイフンで表現する ※通例の表現 動作 スタート/ストップ押下 リセット押下 前状態 待機中 計測中 ー 計測中 一時停止中 ー 一時停止中 計測中 待機中

29. もしもリセットボタンが非活性になる場合… 動作 スタート/ストップ押下 リセット押下 前状態 待機中 計測中 N/A 計測中 一時停止中

    N/A 一時停止中 計測中 待機中 待機中 計測中 スタート/ ストップ 押下 一時停止中 スタート/ ストップ 押下 スタート/ ストップ 押下 リセット 押下 起こり得ない遷移は N/A(Not Applicable)で 表現する ※通例の表現

30. テストケース例 # 前状態 操作 期待結果 1 0:00で停止している スタート/ストップ ボタン押下 カウントアップが始まる

    2 0:00で停止している リセットボタン押下 0:00で停止したままになる 3 カウントアップしている スタート/ストップ ボタン押下 押した瞬間の時間で カウントが止まる 4 カウントアップしている リセットボタン押下 何も変わらず カウントアップし続ける 5 0:05で停止している スタート/ストップ ボタン押下 0:05からカウントアップが 再開する 6 0:05で停止している リセットボタン押下 0:00に変化し、停止している

31. テストケース例 # 前状態 操作 期待結果 1 0:00で停止している スタート/ストップ ボタン押下 カウントアップが始まる

    2 0:00で停止している リセットボタン押下 0:00で停止したままになる 3 カウントアップしている スタート/ストップ ボタン押下 押した瞬間の時間で カウントが止まる 4 カウントアップしている リセットボタン押下 何も変わらず カウントアップし続ける 5 0:05で停止している スタート/ストップ ボタン押下 0:05からカウントアップが 再開する 6 0:05で停止している リセットボタン押下 0:00に変化し、停止している 状態遷移図や状態表では 表現できていない部分

32. お題

33. お題 （ワークのため割愛）

34. ポイント • 状態遷移図を描くことで、認識の違いに気付ける • 状態表を書くことで、 起こり得ない遷移や自己遷移のパターンに気付ける

35. カバレッジ

36. カバレッジ JSTQB Advanced Level テストアナリストには 以下のカバレッジが提示されている • 遷移カバレッジ • Nスイッチカバレッジ

    ◦ 0スイッチカバレッジ　＝　遷移カバレッジ ◦ 1スイッチカバレッジ ◦ 2スイッチカバレッジ … • ラウンドトリップカバレッジ • （＋αとして）無効な遷移を含める

37. 遷移カバレッジ ＝0スイッチカバレッジ

38. 遷移カバレッジ（0スイッチカバレッジ） すべての状態に滞在し、すべての遷移を通過することを 保証する。 ISTQBテスト技術者資格制度 Advanced Level シラバス 日本語版 テストアナリスト Version

    3.1.1.J03

39. 遷移カバレッジ（0スイッチカバレッジ）の例 リセット スタート/ ストップ スタート/ ストップ スタート/ ストップ リセット リセット

    待機中 計測中 一時停止中

40. 遷移カバレッジ（0スイッチカバレッジ）の例 リセット スタート/ ストップ スタート/ ストップ スタート/ ストップ リセット リセット

    待機中 計測中 一時停止中

41. 遷移カバレッジ（0スイッチカバレッジ）の例 リセット スタート/ ストップ スタート/ ストップ スタート/ ストップ リセット リセット

    待機中 計測中 一時停止中 上記2ケースを実行することで、 遷移カバレッジが100%になる

42. Nスイッチカバレッジ

43. Nスイッチカバレッジ 「N スイッチカバレッジ」は、長さ N+1 でカバーされた スイッチの数を意味し、その長さのスイッチの総数の パーセンテージで表す。 例えば、100%の1スイッチカバレッジを達成するには、 2つの連続する遷移のすべての有効なシーケンスを、1 回

    以上テストする必要がある。 このテストでは、100%の 0 スイッチカバレッジで見落と しがちな故障の種類のいくつかを見つけ出すことができ る。 ISTQBテスト技術者資格制度 Advanced Level シラバス 日本語版 テストアナリスト Version 3.1.1.J03

44. Nスイッチカバレッジの説明用お題 状態C 状態A 状態B 状態D 状態E

45. 0スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 上の各矢印をテストすることで、すべての遷移を通過する

46. 0スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 上の各矢印をテストすることで、すべての遷移を通過する

47. 0スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 上の各矢印をテストすることで、すべての遷移を通過する

48. 0スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 上の各矢印をテストすることで、すべての遷移を通過する

49. 0スイッチカバレッジを満たすテストケース 状態C 状態A 状態B 状態D 状態E 2ケースを実施することで、 0スイッチカバレッジを満たすことができる

50. 1スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 状態Aを起点、状態Cを切り替えポイントとして、 状態A→状態C→？？のパターンすべての遷移を通過する

51. 1スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 状態Aを起点、状態Cを切り替えポイントとして、 状態A→状態C→？？のパターンすべての遷移を通過する

52. 1スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 同様に状態Bを起点、状態Cを切り替えポイントとして、 状態B→状態C→？？のパターンすべての遷移を通過する

53. 1スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 同様に状態Bを起点、状態Cを切り替えポイントとして、 状態B→状態C→？？のパターンすべての遷移を通過する

54. 1スイッチカバレッジを満たすテストケース 状態C 状態A 状態B 状態D 状態E 4ケースを実施することで、 1スイッチカバレッジを満たすことができる

55. 2スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 2スイッチカバレッジの場合、 切り替えポイントが2箇所になる 状態F 状態G

    状態I 状態H

56. 2スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 2スイッチカバレッジの場合、 切り替えポイントが2箇所になる 状態F 状態G

    状態I 状態H

57. 2スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 2スイッチカバレッジの場合、 切り替えポイントが2箇所になる 状態F 状態G

    状態I 状態H

58. 2スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 2スイッチカバレッジの場合、 切り替えポイントが2箇所になる 状態F 状態G

    状態I 状態H

59. 2スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 2スイッチカバレッジの場合、 切り替えポイントが2箇所になる 状態F 状態G

    状態I 状態H

60. 2スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 2スイッチカバレッジの場合、 切り替えポイントが2箇所になる 状態F 状態G

    状態I 状態H

61. 2スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 2スイッチカバレッジの場合、 切り替えポイントが2箇所になる 状態F 状態G

    状態I 状態H

62. 2スイッチカバレッジ 状態C 状態A 状態B 状態D 状態E 2スイッチカバレッジの場合、 切り替えポイントが2箇所になる 状態F 状態G

    状態I 状態H

63. ラウンドトリップ カバレッジ

64. ラウンドトリップカバレッジ 「ラウンドトリップカバレッジ」は、遷移のシーケンスが ループを形成するときに適用する。 100%のラウンドトリップカバレッジを達成するには、 任意の状態から同じ状態に戻るすべてのループを、ループ が開始および終了するすべての状態に対してテストする。 このループには、開始状態と終了状態を除くすべての特定 の状態が複数回含まれていてはならない。 ISTQBテスト技術者資格制度 Advanced

    Level シラバス 日本語版 テストアナリスト Version 3.1.1.J03

65. ラウンドトリップカバレッジの例 リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/

    ストップ リセット リセット

66. リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/ ストップ

    リセット リセット まず「待機中」状態に注目する ラウンドトリップカバレッジを満たすテストケース

67. ラウンドトリップカバレッジを満たすテストケース リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/

    ストップ リセット リセット 「待機中」状態に戻ってくる遷移は…

68. ラウンドトリップカバレッジを満たすテストケース リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/

    ストップ リセット リセット 「待機中」状態に戻ってくる遷移は…

69. リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/ ストップ

    リセット リセット 次に「計測中」状態に戻ってくる遷移は… ラウンドトリップカバレッジを満たすテストケース

70. ラウンドトリップカバレッジを満たすテストケース リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/

    ストップ リセット リセット 次に「計測中」状態に戻ってくる遷移は…

71. ラウンドトリップカバレッジを満たすテストケース リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/

    ストップ リセット リセット 次に「計測中」状態に戻ってくる遷移は…

72. ラウンドトリップカバレッジを満たすテストケース リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/

    ストップ リセット リセット 次に「計測中」状態に戻ってくる遷移は…

73. リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/ ストップ

    リセット リセット 最後に「一時停止中」状態に戻ってくる遷移は… ラウンドトリップカバレッジを満たすテストケース

74. ラウンドトリップカバレッジを満たすテストケース リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/

    ストップ リセット リセット 最後に「一時停止中」状態に戻ってくる遷移は…

75. ラウンドトリップカバレッジを満たすテストケース リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/

    ストップ リセット リセット 最後に「一時停止中」状態に戻ってくる遷移は…

76. ラウンドトリップカバレッジを満たすテストケース リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/

    ストップ リセット リセット 上記のテストケースが必要となる

77. ラウンドトリップカバレッジの対象外のケース リセット 待機中 計測中 スタート/ ストップ 一時停止中 スタート/ ストップ スタート/

    ストップ リセット リセット ↑は「特定の状態が複数回含まれていてはならない。」 のラウンドトリップカバレッジの定義を満たさないため、 テストケースには入らない

78. お題

79. お題 （ワークのため割愛）

80. より実務に近いお題

81. お題 （ワークのため割愛）

82. ポイント • 注目点によって、作成する状態遷移図は全く異なる • 注目点によって、ある程度の抽象化が必要 • 一見すると同じ状態でも、状況によって細分化 • 状態表を書くと、自己遷移がたくさん発生する

83. まとめ

84. まとめ • 状態遷移図を描き、状態の変化について認識を揃える • 状態表を書き、気付いていなかった自己遷移や 無効な遷移を発見する • 様々なカバレッジを駆使して、工数や要求を満たす 最適なテストケースを作成する •

    様々な情報がある中で適度な抽象化や細分化を行い 状態遷移図を作成する