テストスイートの作成

Robot Framework のテストケースは、テストケースファイルの中に書かれます。 複数のテストケースファイルを一つのディレクトリ中に置いて、一つの階層化されたテストスイートとして構造化できます。

テストケースファイル

Robot Framework のテストケースは、テストケースファイルにテストケーステーブルを 定義する ことで作成します。 個々のテストケースファイルは、中に入っているテストケースからなる一つのテストスイートを自動的に形成します。 一つのファイル中に書けるテストケースの数に制限はありませんが、 データ駆動テスト のように、テストケースあたり一つのキーワードを使っているのでないかぎり、一つのファイルに書くのはたかだか 10個程度のテストケースとするよう勧めます。

ファイル単位のテストスイートは、設定テーブルに以下のような設定ができます: Documentation

テストスイートのドキュメント の指定に使います。

Metadata

テストスイートのメタデータ を名前-値のペアで指定します。

Suite Setup, Suite Teardown

テストスイートのセットアップとティアダウン を指定します。

注釈

設定の名前には、 Documentation: 末尾にオプションのコロンをつけてもかまいません。 この書き方だと、プレーンテキスト形式でテストを書くときに、多少読みやすさが増します。

テストスイートディレクトリ

テストケースファイルはディレクトリに分けて管理でき、個々のディレクトリがより高水準のテストケースを形成します。 ディレクトリでできたテストスイートそのものにはテストケースがありませんが、テストケースの入った他のテストスイートを中に格納できます。 テストスイートのディレクトリを他のディレクトリの中に入れていくことで、より高水準のテストスイートを形成できます。 テストスイートの構造には制約がないので、好きなようにテストケースを組織化して構成できます。

テストディレクトリ単位でテストを実行すると、そのディレクトリ下のファイルを、以下のような手順で階層的に実行していきます:

• ファイル名がドット (.) やアンダースコア (_) で始まるものは無視します。
• CVS (大小文字は区別) という名前のディレクトリは無視します。
• テストファイルとしてサポートしている ファイル拡張子タイプ (.html, .xhtml, .htm, .tsv, .txt, .rst, .rest) 以外のファイルは無視します (拡張子は大小文字を区別しません)。
• 上記以外のファイルやディレクトリを処理対象にします。

処理対象となったファイルやディレクトリにテストケースが全く定義されていなかったとしても、単に無視して (メッセージを syslog_ に書いて) 処理を継続します。

無効なファイルに対する警告

通常は、テストケースとして正しく認識できるテーブルが入っていないファイルは無視し、 syslog_ にメッセージを出力します。 コマンドラインオプション --warnonskippedfiles を指定すると、 テスト実行エラー にメッセージを出力するようになります。

初期化ファイル

ディレクトリでできたテストスイートにも、テストケースファイルと同じような設定を持たせられます。 ディレクトリ単体には情報をもたせられないので、設定は特殊な「テストスイート初期化ファイル」に置かねばなりません。 初期化ファイルの名前は、 __init__.ext の形式にします。 ext は、 Robot Framework の サポートするファイル形式 に準じます (__init__.robot, __init__.html など)。 このファイル名の付け方は、 Python でディレクトリをパッケージにするときに配置するファイル名に倣っています。

初期化ファイルの書き方はテストケースファイルとほぼ同じですが、テストケーステーブルがなく、設定テーブルに書けない設定がいくつかあります。 また、初期化ファイル中で作成した変数とキーワードは、他の低水準のテストスイートからは利用 できません 。 テストケースファイル間で変数やキーワードを共有したいのなら、 リソースファイル を使ってください。 リソースファイルは初期化ファイルとテストケースファイルのどちらにもインポートできます。

初期化ファイルの主な役割は、 テストケースファイル と同じ方法で、テストスイート関連の設定を行なうことにありますが、 テストケース関連の設定 も可能です。 初期化ファイルでできる設定を以下で説明します。

Documentation, Metadata, Suite Setup, Suite Teardown

テストスイートむけの設定で、テストケースファイルに書いた時と同じ効果があります。

Force Tags

この設定に書いたタグは、ディレクトリ内の全てのテストケースファイルのテストケースに付与されます。 子ディレクトリ以下のテストスイートにも再帰的に適用します。

Test Setup, Test Teardown, Test Timeout

この設定に書いたセットアップおよびティアダウンは、ディレクトリ内の全てのテストケースファイルのテストケースのデフォルト値になります。 子ディレクトリ以下のテストスイートにも再帰的に適用します。 テストケースファイルや各テストケースレベルでオーバライドできます。 Robot Framework 2.7 から、初期化ファイルにテストタイムアウトを定義できるようになりました。

Default Tags, Test Template

これらの設定は、初期化ファイルには書けません。

*** Settings ***
Documentation    Example suite
Suite Setup      Do Something    ${MESSAGE}
Force Tags       example
Library          SomeLibrary

*** Variables ***
${MESSAGE}       Hello, world!

*** Keywords ***
Do Something
    [Arguments]    ${args}
    Some Keyword    ${arg}
    Another Keyword

テストスイート名とドキュメント

テストスイート名は、ファイルやディレクトリの名前をもとに決まります。 ファイル名から拡張子を除去し、アンダースコアがあればスペースで置換し、小文字だけの名前はタイトルケース (各単語の先頭を大文字にする) に変換します。 例えば、 some_tests.html は Some Tests になり、 My_test_directory は My test directory です。

ファイルやディレクトリの名前はには、テストスイートの 実行順 を制御するプレフィクスを付与できます。 プレフィクスと名前は、二つのアンダースコアで分割して書きます。 実行時にテストスイート名を構築する際、プレフィクス部分とアンダースコアは除去されます。 例えば、テストケースファイル 01__some_tests.txt および 02__more_tests.txt は、それぞれ Some Tests, More Tests というテストスイートになり、前者が先に実行されます。

テストスイートのドキュメントは、設定テーブルの Documentation に書きます。 ドキュメントは、テストケースファイルに書くこともできますし、高水準のテストスイートでは、テストスイート初期化ファイルに書けます。 テストスイートのドキュメントは、どこに表示されるか、どう書けるかといった観点で、 テストケースのドキュメント の節で説明したのとほぼ同じ性質を備えています。

*** Settings ***
Documentation    An example test suite documentation with *some* _formatting_.
...              See test documentation for more documentation examples.

トップレベルのテストスイートの名前とドキュメントは、実行時にオーバライドできます。 オーバライドするには、それぞれ、コマンドラインオプション --name や --doc を使います。 詳しくは メタデータの設定 の節で説明しています。

テストスイートのメタデータ

テストスイートには、ドキュメント以外のメタデータも付与できます。 メタデータは設定テーブルに Metadata を使って書きます。 設定したメタデータは、テスト報告書やログに出力されます。

メタデータの名前と値は、 Metadata の後のカラムに書きます。 メタデータの値はドキュメントと同じように書けます。つまり、 複数カラムに分けて 書いたり (スペースで結合される)、 複数行に分けて 書いたり (改行文字で結合される) でき、 HTML 形式 で書いたり 変数 を使ったりできます。

*** Settings ***
Metadata    Version        2.0
Metadata    More Info      For more information about *Robot Framework* see http://robotframework.org
Metadata    Executed At    ${HOST}

トップレベルのテストスイートのメタデータは実行時にオーバライドできます。 オーバライドするには、コマンドラインオプション --metadata を使います。 詳しくは メタデータの設定 の節で説明しています。

テストスイート単位のセットアップとティアダウン

テストケース単位 だけでなく、テストスイート単位でも、セットアップやティアダウンを指定できます。 テストスイートのセットアップは、テストスイート中の最初のテストケースを実行する前に実行し、ティアダウンは、全てのテストケースを実行した後に実行します。 どのテストスイートにも、セットアップとティアダウンを設定できます。ディレクトリでつくったスイートの場合は、設定を テストスイート初期化ファイル に書いてください。

テストケースの場合と同様、スイート単位のセットアップ・ティアダウンはキーワードで指定し、キーワードには引数を指定できます。 設定値は、設定テーブルで Suite Setup や Suite Teardown といった設定名を使って指定します。 キーワード名や引数は、設定名の後のカラムに書きます。

スイート単位のセットアップの実行に失敗すると、そのスイート内の子テストスイートはただちに失敗扱いとなり、実行されません。 この仕様のため、テストケースを実行する際、必要な前提条件が整っているかどうかをチェックするのに、テストスイートのセットアップが上手く働きます。

スイート単位のティアダウンは、通常、全テストケースの実行を終了したあとの後片付けに使います。 ティアダウンは、同じスイートのセットアップの実行に失敗したときでさえ実行されます。 スイート単位のティアダウンに失敗すると、スイート内の全テストケースは、実際の実行結果と関係なく失敗扱いになります。 スイートのティアダウン中に、何らかのキーワードの実行に失敗しても、ティアダウン処理は継続するので注意してください。

セットアップやティアダウンに指定するキーワードの名前には、変数を指定できます。 そのため、環境ごとに異なるセットアップ用キーワード名を定義しておき、スイートセットアップは変数にしておいて、コマンドラインで変数の値を指定することで、キーワードを切り替えて実行する、といったことができます。