パイプラインの作成と実行

Azure DevOps のパイプラインは、コードをビルド、テスト、デプロイする方法です。この章では、Ranorex Studio のソリューションを実行するために、Azure DevOps のパイプラインを作成、設定、実行する方法について説明します。Azure DevOps Pipelines については、公式の Azure Pipelines documentation を参照してください。

パイプラインの作成

Azure DevOps プロジェクトの新しいパイプラインは、以下の手順で作成します。

開いているプロジェクトで、画面左にある Pipelines をクリックします。
New pipeline をクリックします。
使用するパイプラインの指定方法に応じて、以下いずれかをクリックします。

Click Azure Repos Git (YAML) (上級者向け。ここでは詳しい説明は割愛します)

Click Use the classic editor

以下のように設定し、Continue をクリックします。

次の手順で、.NET Desktop の Apply をクリックします。これは、Ranorex Studio がベースにしているフレームワークです。

パイプラインの概要

パイプラインの概要には、パイプラインを構成するさまざまなコンポーネントが表示され、多くの設定がおこなえます。ここでは、Ranorex Studio との連携に関連するもののみを説明します。

パイプラインの設定カテゴリーです。
パイプラインの基本的な設定です。パイプラインの名前、Agent pool の設定、オプションのパラメーターなどが設定できます。
パイプラインが使用するソース (リポジトリ) の設定です。パイプラインの作成 で説明した内容に関連します。
パイプラインには、最低でも 1 つのエージェント ジョブが含まれます。パイプラインが実行するタスクの論理セットです。
エージェント ジョブには、最低でも 1 つのタスクが含まれます。表示されている順番で実行されます。
設定ウィンドウです。上記いずれかの項目を設定する際、このウィンドウが表示されます。

パイプラインの基本的な設定

Tasks で Pipeline をクリックすると、パイプラインの基本的な設定が表示されます。以下の設定がおこなえます。

パイプラインの名前を変更できます。
パイプラインの Agent pool の選択です。Default local pool または Hosted pool から選択できます。
オプションのパイプライン パラメーターの設定です。上記画像のプリセットのパラメーターは、Visual Studio ソリューション ファイル (.sln) から実行ファイルをビルドします。

Ranorex Studio テスト用のパイプライン タスク

Ranorex Studio テストを、Azure DevOps パイプラインで正しく実行するには、エージェント ジョブに、以下のタスクが含まれている必要があります。

Ranorex Studio ソリューションのビルド

Visual Studio build タスクは、Ranorex Studio テスト ソリューションをビルドします。エージェント ジョブに、デフォルトで含まれています。

設定

Display name の変更
Platform の変更 (x86 など)

ビルドの実行

Ranorex Studio ソリューションのビルドを実行します。エージェント ジョブに、コマンドライン タスクを追加する必要があります。

以下の手順で追加します。

エージェント ジョブの横にある + 記号をクリックします。
検索バーで、command line を検索します。.
Add をクリックします。

設定

Display name の変更
デフォルトの Script を以下のように置換

Azure DevOps プロジェクトの現在の作業ディレクトリを表すシステム変数
Ranorex Studio ソリューションのフォルダー
Ranorex Studio ソリューション内のプロジェクトのフォルダー
Visual Studio プロジェクトのデフォルトの出力フォルダー
実行ビルドのファイル名。任意の引数を追加することもできます。

レポート

Azure DevOps パイプラインで Ranorex Studio テストを実行する場合、デフォルトでは、Ranorex Studio レポートはビルドの作業ディレクトリに保存されません。これには、エージェント ジョブに、Publish build artifacts タスクを追加する必要があります。

Publish build artifacts タスクをクリックします。
必要に応じて Display name を変更します。
Path to publish を、画像のように変更します。
必要に応じて Artifact name を変更します。

結果

パイプラインが完了すると、Summary でレポートを確認できます。

Pipelines > Builds をクリックします。
Summary をクリックします。
Build artifacts published からレポートをクリックします。

Build でのテスト結果の表示

デフォルトでは、Ranorex Studio テストの結果は、Azure DevOps 上で表示されません。しかし、JUnit 形式の Ranorex Studio レポートを使用することで、表示することができます。

以下の手順で設定します。

エージェント ジョブに、Publish test results タスクを追加します。
必要に応じてタスクの Display name を変更します。
Test result format に JUnit を指定します。
Test results files に、**/*.xml を指定します。
Search folder に、現在の作業ディレクトリを指定します。

Command line タスクに移動し、スクリプトを以下のように変更します。

Ranorex Studio ソリューションの実行ビルド
JUnit 形式のレポートの生成を指定する引数
レポートの ZIP 圧縮を指定する引数
圧縮形式のレポートのパスとファイル名を指定する引数

結果

Pipelines > Builds > Tests から、ビルド実行後のテストの詳細が確認できます。

公式の Ranorex Studio ビルド タスク

公式の Ranorex Studio ビルド タスクは、上記のセクションで説明した Ranorex Studio テスト用のパイプライン タスクの内容を設定できるUIを備えた、シンプルな単一のタスクです。フリーの拡張機能として、Azure DevOps Marketplace からダウンロードできます。

ダウンロードしたタスクをジョブに追加して使用してください。

タスクの表示名
Ranorex Studio との連携を制御するタスク設定

一般的な設定

リポジトリ フォルダーから、Ranorex Studio ソリューションの出力フォルダーにあるテスト実行ファイルへの相対パス。必須項目です。
リポジトリ フォルダーから、Ranorex Studio ソリューションの出力フォルダーにある指定したテスト スイートファイル (.rxtst) への相対パス。テストに複数のテスト スイートが含まれていて、そのうちの 1 つだけを実行したい場合に便利です。
テスト実行で使用される TestRun 設定。Ranorex Studio の TestRun 設定で指定されている名前を指定します。TestRun 設定が複数存在する場合に便利です。

レポート

レポートを有効化します。これにより、Ranorex Studio レポートがビルドに添付されます。
任意のレポート名を指定できます。⇢ コマンドライン実行 のレポートの項目で説明されている、レポート固有のプレースホルダーが使用できます。
レポートに含める情報を調整するための最小のレポート レベルです。(Default) では、Ranorex Studio で該当ソリューションがビルドされたときに有効になっていたレポート レベル設定が使用されます。詳しくは、⇢ レポート レベル を参照してください。

TestRail 連携

これらのオプションを設定することで、テスト結果を TestRail に送れます。

TestRail 連携を有効化します。
TestRail インスタンスへのサービス接続を入力します。サービス接続が未設定の場合には、Azure DevOps の Project Settings > Service connections > New service connection > Generic から設定してください。ここで、TestRail の認証情報を入力します。Manage リンクをクリックすることでも、Service connection メニューのフィールドにアクセスできます。
テスト結果をレポートする、TestRail の既存の TestRun の識別子です。ID を指定しない場合、あるいは、TestRun が存在しない場合には、新しい TestRun にレポートされます。
テスト結果をレポートする、TestRail の新しい TestRun を、指定した名前で作成します。指定しない場合、デフォルトの名前が使用されます。

高度な設定

テスト実行をカスタマイズするための、追加のコマンドライン引数を指定できます。利用可能なコマンドライン引数については、⇢ コマンドライン実行 を参照してください。

パイプラインの実行

パイプラインの実行には、⇢ Azure Pipelines エージェントのセットアップ が必要です。

Pipelines > Builds をクリックします。
Run をクリックします。

表示されたダイアログでパイプラインの設定を確認し、Run をクリックします。

パイプラインの進捗の確認

パイプラインは、すべてのタスクを指定された順番で実行します。Azure DevOps 上で実行状況が確認できます。

パイプラインの開始
開始時間と経過時間
完了したタスク
現在のタスクとそのデバッグ情報

エージェント ウィンドウ

パイプラインが開始されると、エージェント ジョブがエージェントに渡され、実行されます。エージェント ウィンドウに、ジョブが開始されたことが表示されます。

Ranorex Studio テストの実行

エージェントは、Ranorex Studio で実行するのと同じように、Ranorex Studio テストを実行します。

パイプラインの完了

パイプラインが完了すると、パイプライン概要に表示されます。

現在のプロジェクトで作成されたすべてのパイプライン
選択中のパイプラインに含まれるすべてのビルドと、その実行ステータス (Success/Failure)
ビルドをクリックすると、結果が確認できます。

ジョブが完了すると、エージェント ウィンドウに結果が表示され、アイドル状態に戻ります。

パイプラインの自動トリガー

パイプラインを自動でトリガーすることもできます。Enable continuous integration を有効にする必要があります。Ranorex Studio ソリューションに変更を加えて Git にコミットおよびプッシュすると、対応するパイプラインがトリガーされます。

自動トリガーは以下の手順で設定します。

Pipelines をクリックし、パイプラインを選択し、Edit をクリックします。
Triggers をクリックします。
Enable continuous integration を有効化します。