ソフトウェアテスト認識と有効性に関する複製研究

目次

概要

1 はじめに

2 元の研究:リサーチクエスチョンと方法論

3 元の研究:妥当性の脅威

4 元の研究:結果

5 リピート研究:リサーチクエスチョンと方法論

6 リピート研究:妥当性の脅威

7 リピート研究:結果

8 考察

9 関連研究

10 結論と参考文献

\

5 リピート研究:リサーチクエスチョンと方法論

我々は、誤認の背後にある可能性のある要因を探すために、元の研究の結果をさらに調査することにした。心理学では、人々の認識は態度、個人的な関心、期待などの個人的特性によって影響を受ける可能性があると考えられている。そのため、我々は元の研究[47]の差別化されたリピートを実施することで参加者の意見を調査することにし、その目標を以下のように拡張した:

1. 有効性認識の調査は、プログラムに関する質問を含むように拡張される。

2. 参加者の認識が彼らの意見によって条件付けられているかどうかを明らかにしたい。より正確には:彼らの環境設定(お気に入りの技法)、彼らのパフォーマンス(最もうまく適用できたと思う技法)、技法やプログラムの複雑さ(最も適用しやすいと思う技法、またはテストする最も簡単なプログラム)。

   \ したがって、リピート研究は元の研究で述べられたRQ1を再検証し(今回、参加者が回答する調査にはプログラムに関する質問も含まれる)、以下の新しいリサーチクエスチョンに取り組む:

   – RQ1.6:参加者の認識は、参加者が報告した欠陥の数と関連があるか? 参加者が最も有効な技法として認識するのは、より多くの欠陥を報告した技法であるかを評価したい。

   – RQ2:参加者の意見はテストの有効性の予測因子として使用できるか?

   – RQ2.1:技法とプログラムについて参加者の意見は何か? 参加者が技法やプログラムについて異なる意見を持っているかを知りたい。

   – RQ2.2:参加者の意見は彼らの有効性を予測するか? 参加者が技法(またはプログラム)について持っている意見が、どれが最も有効であるかを予測するかを評価したい。

   – RQ3:参加者の認識と意見の間に関係はあるか?

   – RQ3.1:参加者の認識と意見の間に関係はあるか? 参加者が技法(またはプログラム)について持っている意見が彼らの認識と関連しているかを評価したい。

   – RQ3.2:参加者の意見の間に関係はあるか? 参加者が技法について持っている特定の意見が他の意見と関連しているかを評価したい。

   \ これらの質問に答えるため、我々は翌学年の同じコースの学生で元の研究をリピートする。今回は46人の学生がいる。実験のリピートに加えられた変更は以下の通り:– 実験終了時に参加者が記入するアンケートは、新しい質問を含むように拡張される。意見に関する質問で把握したい情報は:– 技法における参加者のパフォーマンス。この質問ではプロセス適合性を指している。最もうまく適用した技法は、各参加者が最も徹底的に適用したと思う技法である。これはOT1に対応する:どの技法を最もうまく適用しましたか?

   \ – 参加者の環境設定。 各参加者のお気に入りの技法を知りたい。適用した際に最も快適に感じたものである。これはOT2に対応する:どの技法が最も気に入りましたか?

   – 技法の複雑さ。 各参加者がプロセス適合性を得るのが最も簡単だと思う技法を知りたい。これはOT3に対応する:どの技法が最も適用しやすいですか?

   \ – プログラムのテスト容易性。テストしやすかったプログラムを知りたい。つまり、プロセス適合性をより簡単に得られたプログラムである。これはOP1に対応する:最も簡単なプログラムはどれですか? 表16は調査の質問をまとめたものである。我々がこれらの質問を選んだのは、参加者が簡単に理解でき、同時に意味のある、シンプルな質問をする必要があるためである。多くの説明がある複雑な質問で参加者を圧倒したくない。複雑なアンケートは学生の提出意欲を削ぐ可能性がある。

   \ – プログラムの欠陥が変更される。 元の研究は、すべての技法が注入されたすべての欠陥を見つけるのに有効になるように設計されている。我々は技法を公平に比較できるように、すべての技法で検出可能な欠陥を選択する。リピート研究は、一部の欠陥がすべての技法では検出できない状況をカバーするように設計されている。したがって、技法が検出するのに有効でない一部の欠陥を注入する。例えば、BTは未実装の機能を検出できない(参加者はソースコードからのみテストケースを生成することが求められるため)。同様に、

EPは、2つの無効な等価クラスの組み合わせに依存する欠陥を見つけることができない。したがって、リピート研究では、BTは検出できるがEPは検出できない欠陥と、EPは検出できるがBTは検出できない欠陥を各プログラムに注入する(各プログラムには6つの欠陥が埋め込まれる)。設計はバランスが取れていることに注意:BTは検出できるがEPは検出できない欠陥と、その逆のEPは検出できるがBTは検出できない欠陥を同じ数注入する)。この変更はEPとBTの有効性に影響を与えることが予想され、元の研究よりも低くなる可能性がある。CRの有効性には影響しないはずである。

– 成熟の問題をさらに研究するために、プログラムの適用順序を変更する。順序は現在:cmdline、ntree、nametblである。この変更は結果に影響しないはずである。

– 参加者は自分のテストケースを実行する。元の研究で得られた誤認は、参加者が自分のテストケースを実行していないという事実に起因する可能性がある。

– 2つのバージョンではなく1つになる。欠陥と障害はこの研究の目標ではない。これは実験の簡素化に役立つ。表17は研究に加えられた変更の概要を示している。

技法の有効性を測定するために、我々は元の研究と同じ方法で進める。参加者が以下のことをする可能性があるため、報告された障害には依存しない:

1. 偽陽性(実際ではない障害)を報告する。
2. 同じ障害を複数回報告する(そうしないように求められているにもかかわらず)。
3. 技法によって実行された欠陥に対応する障害を、何らかの理由で見逃す。

新しい応答変数(報告された欠陥)は、各参加者が報告した欠陥/障害の数をカウントすることで測定する。我々はRQ2.1をRQ1.1と同じ方法で分析し、RQ1.6、RQ2.2、RQ3.1、RQ3.2はRQ1.2のように分析する。表18は、各リサーチクエスチョンに答えるために使用された統計的検定をまとめたものである。

\

6 リピート研究:妥当性の脅威

元の研究にリストされている妥当性への脅威は、このリピート研究にも適用される。さらに、我々は以下のものを特定した:

6.1 結論妥当性

1. 処理実装の信頼性。リピート実験は、元の実験を実施したのと同じ研究者によって実行される。これにより、2つの参加者グループが処理を異なる方法で実装しないことが保証される。

   6.2 内的妥当性

   1. 評価不安。学生を使用し、実験での彼らのパフォーマンスをコースの成績と関連付けることは、参加者が技法の有効性を説明するのは技法の弱点ではなく自分のパフォーマンスであると考えることを説明するかもしれない。

6.3 構成概念妥当性

1. 効果構成概念の不適切な事前操作的説明。意見は操作化しにくい構成概念であるため、アンケートに表示される質問が我々が意図した方法で参加者に解釈されない可能性がある。6.4 外的妥当性

2. 結果の再現性。ここで得られた結果がどの程度再現可能であるかは明確ではない。したがって、研究のさらなるリピートが必要である。

   \ 従うべきステップは以下の通り:

   (a) 参加者が与えた回答の理由を把握する研究をリピートする。

   (b) この研究で使用された学生と同じ特性を持つ実務者(ソフトウェアテストの経験がほとんどまたは全くない人々)で研究を実施する。

   (c) 結果に影響を与えている可能性のある経験の種類を探索し定義する(学術、職業、プログラミング、テストなど)。

   (d) 経験レベルの増加を考慮した新しい研究を実施する。

   \ 繰り返すが、リピート研究に影響を及ぼすすべての脅威の中で、産業的文脈におけるこの研究の結果の妥当性に影響を与える可能性があるのは、他の対象タイプへの一般化に関連するものだけである。

\

:::info 著者:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

:::info この論文は、CC BY-NC-ND 4.0ライセンスの下でarxivで入手可能です。

:::

\