テスト スイートの実行
この章では、テスト実行を制御する各種オプションと、テスト スイート ビュでのテスト実行について学習します。
スクリーンキャスト
以下のスクリーンキャストで、この章で説明している内容を確認できます。
サンプル ソリューションのダウンロード
この章の説明は、サンプル ソリューションを使用しておこないます。サンプル ソリューションは以下からダウンロードできます。
サンプル ソリューション
Theme: Test suite run
Time: Less than 10min
インストール:
任意のフォルダーに解凍します。
Ranorex Studio を起動し、ソリューション ファイル RxDatabase.rxsln を開きます。
ヒント
このサンプル ソリューションは、Ranorex Studio 8.0 以降で利用できます。8.2 以降を利用している場合には、ソリューションのアップグレードをおこなってください。
TestRun の管理
テスト スイートでテスト ケースとスマート フォルダーのチェックを切り替えることで、テストの実行に含めたり除外したりできます。
Checkboxes to include/exclude from test run
テスト ケースとスマート フォルダーの選択状態は、TestRun と呼ばれます。テスト スイート ビューのドロップダウンから、設定を保存したり切り替えることができます。
Manage run configurations
TestRun 設定のドロップダウンをクリックします。
TestRun の設定 をクリックします。
Adding a new run configuration
追加 をクリックします。
TestRun に名前を付けます。
OK をクリックします。
結果:
- ドロップダウンから、TesrRun が選択できます。
Different run configurations
すべてのテスト スイート要素を含む TestRun 設定
Validation スマート フォルダーを除外した TestWithoutValidation 設定
テスト スイート アイテムの無効化/有効化
テスト ケースやスマート フォルダーの追加/削除と同様に、レコーディングモジュール、コード モジュール、モジュール グループ、Setup/Teardown 領域を、有効化/無効化できます。無効化された項目は、テストで実行されません。
Disabling a recording module
無効化したいアイテムを選択し、右クリックします。
無効化 をクリックします。無効化されるとグレイアウト表示されます。
メモ
- モジュール グループを無効化すると、配下のすべてのモジュールも無効化されます。
- Setup/Teardown 領域を無効化すると、配下のアイテムも無効化されます。
イテレーションの設定
デフォルトでは、テスト ケースとスマート フォルダーは、テスト実行中に一度だけ実行されます。しかし、イテレーションの設定で、指定した回数実行させることもできます。
Configuring run iterations
テスト ケースまたはスマート フォルダーを選択し、右クリックします。
プロパティ をクリックします。プロパティ ウィンドウが表示されます。
Iteration count プロパティで、イテレーションの回数を指定します。
Iteration count プロパティ
結果:
- テスト スイート アイテムに、イテレーション回数が表示されます。
- 今回の例では、5 回に指定しています。
Number of iterations in test suite view
リトライの設定
UI テストでは、テスト対象アプリが応答せず、エラーが発生することがあります。こういった場合の一つの解決策は、テストの該当部分を単純に再実行することです。リトライの設定で、テスト ケースまたはスマート フォルダーを、テストが正常に成功するか、指定したリトライ回数に到達するまで、再実行させることができます。
Configuring auto-retry
テスト ケースまたはスマート フォルダーを選択します。
F4 キーを押し、プロパティ ウィンドウを開きます。
Retry count プロパティで、リトライの回数を指定します。
Retry count プロパティ
メモ
データ バインディングまたはイテレーションが設定されている場合、リトライはテストの失敗時に開始されます。例えば、5 回のイテレーションのうち 3 回目でエラーが発生した場合、この時点でリトライが開始されます。
すべてのリトライが失敗したテスト ケースまたはスマート フォルダーのみが、レポートで Failed とマークされます。
レポート レベルの設定
テスト スイート内のテスト ケースとスマート フォルダーに、レポート レベルを設定することもできます。レポート レベルによって、レポートに表示される情報を制御できます。テスト ケースとスマート フォルダーを使用する複雑なテストにおいて、レポートを構造化するのに役立ちます。
参照
レポート レベルについては、Ranorex Studio 基礎 > レポート > ⇢ レポート レベル を参照してください。
エラー処理の設定
エラーはテストの一部のため、エラーが発生したときに、Ranorex が何をおこなうべきか設定することは重要です。テスト スイート内のテスト ケースとスマート フォルダーで、エラー処理を設定できます。
エラー処理は、テスト ケースまたはスマート フォルダーの右クリック メニューから設定します。エラー処理には、以下の 4 つがあります。
Specification of error behavior
ヒント
デフォルト設定は、次のテスト ケースに移動して続行 です。
次の繰り返しに移動して続行
Error behavior: Continue with iteration
次の繰り返しに移動して続行
Validation スマート フォルダーの次のイテレーションに移動してテストを続行します。
次のテスト ケースに移動して続行
Error behavior: Continue with sibling
次のテスト ケースに移動して続行
同じ階層にある次のテスト ケースまたはスマート フォルダーに移動してテストを続行します。この例では DatabaseCleanUp に移動します。
次の親テスト ケースに移動して続行
Error behavior: Continue with parent
次の親テスト ケースに移動して続行
次の親テスト ケースに移動してテストを続行します。この例では CompleteDatabaseTest に移動します。
停止
エラーが発生した時点でテストの実行を停止します。
Setup/Teardown 領域でのエラー処理
Setup/Teardown 領域でのエラー処理は特別です。
- Setup 領域でエラーが発生した場合、テストの実行がただちに停止されます。.
- Teardown 領域でエラーが発生した場合、次のモジュールが実行されます。
テスト スイート ビューからのテスト実行
Running a test
RUN をクリックします。
Ranorex Studio がテスト実行を開始します。
テストの進捗状況を確認します。
注意
RUN をクリックしたら、キーボードとマウスを操作しないでください。これらを操作すると、テストの実行が妨げられ、テストが失敗する原因となります。
結果:
- テストの実行が完了すると、レポートが表示されます。
参照
レポートについては、Ranorex Studio 基礎 > ⇢ レポート を参照してください。
参照
テスト実行の一時停止/再開については、Ranorex Studio 基礎 > Ranorex Recorder > ⇢ レコーディングの実行とデバッグ を参照してください。
Ranorex Test Suite Runner
Test Suite Runner は、テスト スイートを Ranorex Studio を使用せずに実行する、スタンドアローンのツールです。テスト スイート ファイルをダブルクリックすることで自動的に起動されます。
Test Suite Runner は、テスト スイート全体、特定のテストケース/スマート フォルダー、特定のモジュールを実行するために使用できます。
さらに、Ranorex Studio と同様の方法で、新しい TestRun を作成することもできます。
しかしながら、テスト スイート自体に変更を加えることはできません。
テスト スイート ファイルをダブルクリックします。ファイルが Test Suite Runner で開かれます。
RUN をクリックします。
スタンドアローンの Test Suite Runner
現在読み込まれているテスト スイート