مطالعه تکراری در مورد ادراک آزمون نرم‌افزار در مقابل اثربخشی

جدول پیوندها

خلاصه

1 مقدمه

2 مطالعه اصلی: سوالات تحقیق و روش‌شناسی

3 مطالعه اصلی: تهدیدات اعتبار

4 مطالعه اصلی: نتایج

5 مطالعه تکراری: سوالات تحقیق و روش‌شناسی

6 مطالعه تکراری: تهدیدات اعتبار

7 مطالعه تکراری: نتایج

8 بحث

9 کارهای مرتبط

10 نتیجه‌گیری و منابع

\

5 مطالعه تکراری: سوالات تحقیق و روش‌شناسی

ما تصمیم می‌گیریم نتایج مطالعه اصلی را به دنبال محرک‌های احتمالی پشت برداشت‌های نادرست بیشتر بررسی کنیم. روانشناسی در نظر می‌گیرد که برداشت‌های افراد می‌تواند تحت تأثیر ویژگی‌های شخصی مانند نگرش‌ها، علایق شخصی و انتظارات قرار گیرد. بنابراین، تصمیم می‌گیریم نظرات شرکت‌کنندگان را با انجام یک تکرار متمایز از مطالعه اصلی [47] که هدف آن را به شرح زیر گسترش می‌دهد، بررسی کنیم:

1. نظرسنجی درک اثربخشی گسترش یافته تا شامل سوالاتی در مورد برنامه‌ها شود.

2. ما می‌خواهیم بفهمیم آیا برداشت‌های شرکت‌کنندگان ممکن است تحت تأثیر نظرات آنها قرار گیرد. به طور دقیق‌تر: اولویت‌های آنها (تکنیک مورد علاقه)، عملکرد آنها (تکنیکی که فکر می‌کنند بهترین اجرا را داشته‌اند) و پیچیدگی تکنیک یا برنامه (تکنیکی که فکر می‌کنند آسان‌ترین برای اجرا است، یا ساده‌ترین برنامه برای تست شدن).

   \ بنابراین، مطالعه تکراری RQ1 بیان شده در مطالعه اصلی را دوباره بررسی می‌کند (این بار نظرسنجی انجام شده توسط شرکت‌کنندگان شامل سوالاتی در مورد برنامه‌ها نیز می‌شود)، و به سوالات تحقیق جدید زیر می‌پردازد:

   – RQ1.6: آیا برداشت‌های شرکت‌کنندگان با تعداد نقص‌های گزارش شده توسط شرکت‌کنندگان مرتبط است؟ ما می‌خواهیم ارزیابی کنیم که آیا شرکت‌کنندگان تکنیکی را که با آن نقص‌های بیشتری گزارش کرده‌اند به عنوان مؤثرترین تکنیک درک می‌کنند.

   – RQ2: آیا نظرات شرکت‌کنندگان می‌تواند به عنوان پیش‌بینی‌کننده برای اثربخشی تست استفاده شود؟

   – RQ2.1: نظرات شرکت‌کنندگان در مورد تکنیک‌ها و برنامه‌ها چیست؟ ما می‌خواهیم بدانیم آیا شرکت‌کنندگان نظرات متفاوتی در مورد تکنیک‌ها یا برنامه‌ها دارند.

   – RQ2.2: آیا نظرات شرکت‌کنندگان اثربخشی آنها را پیش‌بینی می‌کند؟ ما می‌خواهیم ارزیابی کنیم که آیا نظراتی که شرکت‌کنندگان در مورد تکنیک‌ها (یا برنامه‌ها) دارند پیش‌بینی می‌کند کدام یک برای آنها مؤثرترین است.

   – RQ3: آیا رابطه‌ای بین برداشت‌ها و نظرات شرکت‌کنندگان وجود دارد؟

   – RQ3.1: آیا رابطه‌ای بین برداشت‌ها و نظرات شرکت‌کنندگان وجود دارد؟ ما می‌خواهیم ارزیابی کنیم که آیا نظراتی که شرکت‌کنندگان در مورد تکنیک‌ها (یا برنامه‌ها) دارند با برداشت‌های آنها مرتبط است.

   – RQ3.2: آیا رابطه‌ای بین نظرات شرکت‌کنندگان وجود دارد؟ ما می‌خواهیم ارزیابی کنیم که آیا یک نظر خاص که شرکت‌کنندگان در مورد تکنیک‌ها دارند با نظرات دیگر مرتبط است.

   \ برای پاسخ به این سوالات، ما مطالعه اصلی را با دانشجویان همان دوره در سال تحصیلی بعدی تکرار می‌کنیم. این بار 46 دانشجو داریم. تغییرات ایجاد شده در تکرار آزمایش به شرح زیر است: – پرسشنامه‌ای که باید توسط شرکت‌کنندگان در پایان آزمایش تکمیل شود گسترش یافته تا شامل سوالات جدید شود. اطلاعاتی که می‌خواهیم با سوالات نظر جمع‌آوری کنیم عبارتند از: – عملکرد شرکت‌کنندگان در تکنیک‌ها. با این سوال به انطباق فرآیند اشاره می‌کنیم. بهترین تکنیک اجرا شده تکنیکی است که هر شرکت‌کننده فکر می‌کند کاملاً اجرا کرده است. این با OT1 مطابقت دارد: کدام تکنیک را بهتر اجرا کردید؟

   \ – اولویت‌های شرکت‌کنندگان. ما می‌خواهیم تکنیک مورد علاقه هر شرکت‌کننده را بدانیم. تکنیکی که در هنگام اجرا با آن راحت‌تر بوده است. این با OT2 مطابقت دارد: کدام تکنیک را بیشتر دوست دارید؟

   – پیچیدگی تکنیک. ما می‌خواهیم بدانیم هر شرکت‌کننده فکر می‌کند کدام تکنیک برای دستیابی به انطباق فرآیند آسان‌تر بوده است. این با OT3 مطابقت دارد: کدام تکنیک برای اجرا آسان‌تر است؟

   \ – قابلیت تست برنامه. ما می‌خواهیم بدانیم تست کدام برنامه آسان‌تر بوده است. یعنی برنامه‌ای که می‌توان به راحتی انطباق فرآیند را در آن به دست آورد. این با OP1 مطابقت دارد: کدام برنامه ساده‌ترین است؟ جدول 16 سوالات نظرسنجی را خلاصه می‌کند. ما این سوالات را انتخاب کرده‌ایم زیرا نیاز داریم سوالات ساده‌ای بپرسیم که به راحتی توسط شرکت‌کنندگان قابل درک باشد و در عین حال معنادار باشد. ما نمی‌خواهیم شرکت‌کنندگان را با سوالات پیچیده که توضیحات زیادی دارند غرق کنیم. یک پرسشنامه پیچیده ممکن است دانشجویان را از ارسال آن منصرف کند.

   \ – نقص‌های برنامه تغییر می‌کند. مطالعه اصلی طوری طراحی شده است که همه تکنیک‌ها در یافتن تمام نقص‌های تزریق شده مؤثر هستند. ما نقص‌هایی را انتخاب می‌کنیم که توسط همه تکنیک‌ها قابل تشخیص باشند تا تکنیک‌ها بتوانند به طور منصفانه مقایسه شوند. مطالعه تکراری طراحی شده تا وضعیتی را پوشش دهد که در آن برخی نقص‌ها توسط همه تکنیک‌ها قابل تشخیص نیستند. بنابراین، ما برخی نقص‌ها را تزریق می‌کنیم که تکنیک‌ها در تشخیص آنها مؤثر نیستند. به عنوان مثال، BT نمی‌تواند یک ویژگی پیاده‌سازی نشده را تشخیص دهد (زیرا شرکت‌کنندگان ملزم به تولید موارد تست فقط از کد منبع هستند). به همین ترتیب،

EP نمی‌تواند نقصی را که تشخیص آن به ترکیب دو کلاس هم‌ارزی نامعتبر بستگی دارد پیدا کند. بنابراین، در مطالعه تکراری، ما برخی نقص‌ها را که توسط BT قابل تشخیص هستند اما توسط EP قابل تشخیص نیستند و برخی نقص‌ها را که توسط EP قابل تشخیص هستند اما توسط BT قابل تشخیص نیستند به هر برنامه تزریق می‌کنیم (هر برنامه با شش نقص بذرگذاری می‌شود). توجه داشته باشید که طراحی متعادل است: ما همان تعداد نقص‌هایی را که BT می‌تواند تشخیص دهد اما EP نمی‌تواند، تزریق می‌کنیم که برعکس –EP می‌تواند تشخیص دهد اما BT نمی‌تواند). انتظار می‌رود این تغییر بر اثربخشی EP و BT تأثیر بگذارد که ممکن است کمتر از مطالعه اصلی باشد. نباید بر اثربخشی CR تأثیر بگذارد.

– ما ترتیب اجرای برنامه را برای مطالعه بیشتر مسائل بلوغ تغییر می‌دهیم. ترتیب اکنون: cmdline، ntree، nametbl است. این تغییر نباید بر نتایج تأثیر بگذارد.

– شرکت‌کنندگان موارد تست خود را اجرا می‌کنند. می‌تواند باشد که برداشت‌های نادرست به دست آمده در مطالعه اصلی به این دلیل است که شرکت‌کنندگان موارد تست خود را اجرا نمی‌کنند.

– دیگر دو نسخه وجود ندارد بلکه یکی وجود دارد. نقص‌ها و شکست‌ها هدف این مطالعه نیستند. این به ساده‌سازی آزمایش کمک می‌کند. جدول 17 خلاصه‌ای از تغییرات ایجاد شده در مطالعه را نشان می‌دهد.

برای اندازه‌گیری اثربخشی تکنیک به همان روشی که در مطالعه اصلی عمل می‌کنیم پیش می‌رویم. ما به شکست‌های گزارش شده تکیه نمی‌کنیم، زیرا شرکت‌کنندگان می‌توانند:

1. مثبت‌های کاذب (شکست‌های غیر واقعی) گزارش دهند.
2. همان شکست را بیش از یک بار گزارش دهند (اگرچه از آنها خواسته شده بود این کار را نکنند).
3. شکست‌های مربوط به نقص‌هایی که توسط تکنیک اعمال شده‌اند اما به دلایلی دیده نشده‌اند را از دست بدهند.

ما متغیر پاسخ جدید (نقص‌های گزارش شده) را با شمارش تعداد نقص‌ها/شکست‌های گزارش شده توسط هر شرکت‌کننده اندازه‌گیری می‌کنیم. ما RQ2.1 را به همان شیوه RQ1.1، و RQ1.6، RQ2.2، RQ3.1 و RQ3.2 را مانند RQ1.2 تحلیل می‌کنیم. جدول 18 آزمون‌های آماری مورد استفاده برای پاسخ به هر سوال تحقیق را خلاصه می‌کند.

\

6 مطالعه تکراری: تهدیدات اعتبار

تهدیدات اعتبار فهرست شده در مطالعه اصلی برای این مطالعه تکراری اعمال می‌شود. علاوه بر این، موارد زیر را شناسایی کرده‌ایم:

6.1 اعتبار نتیجه‌گیری

1. قابلیت اطمینان اجرای درمان. آزمایش تکراری توسط همان محققانی که آزمایش اصلی را انجام دادند اجرا می‌شود. این تضمین می‌کند که دو گروه از شرکت‌کنندگان درمان‌ها را متفاوت پیاده‌سازی نمی‌کنند.

   6.2 اعتبار درونی

   1. نگرانی ارزیابی. استفاده از دانشجویان و ارتباط دادن عملکرد آنها در آزمایش با نمره آنها در دوره ممکن است توضیح دهد که شرکت‌کنندگان در نظر می‌گیرند که عملکرد آنها و نه ضعف‌های تکنیک‌ها اثربخشی یک تکنیک را توضیح می‌دهد.

6.3 اعتبار ساختاری

1. توضیح پیش‌عملیاتی نامناسب از ساختارهای تأثیر. از آنجا که نظرات ساختارهای سختی برای عملیاتی کردن هستند، این احتمال وجود دارد که سوالات ظاهر شده در پرسشنامه توسط شرکت‌کنندگان به روشی که ما قصد داشتیم تفسیر نشوند. 6.4 اعتبار خارجی

2. تکرارپذیری نتایج. مشخص نیست که نتایج به دست آمده در اینجا تا چه حد قابل تکرار هستند. بنابراین، تکرارهای بیشتری از مطالعه مورد نیاز است.

   \ مراحلی که باید دنبال شوند عبارتند از:

   (a) تکرار مطالعه با جمع‌آوری دلایل پاسخ‌های داده شده توسط شرکت‌کنندگان.

   (b) انجام مطالعه با متخصصانی با همان ویژگی‌های دانشجویان مورد استفاده در این مطالعه (افرادی با تجربه کم یا بدون تجربه در تست نرم‌افزار).

   (c) کشف و تعریف انواع تجربه‌ای که می‌تواند بر نتایج تأثیر بگذارد (تحصیلی، حرفه‌ای، برنامه‌نویسی، تست و غیره).

   (d) اجرای مطالعات جدید با در نظر گرفتن سطوح فزاینده تجربه.

   \ باز هم، از تمام تهدیدات تأثیرگذار بر مطالعه تکراری، تنها موردی که می‌تواند بر اعتبار نتایج این مطالعه در یک زمینه صنعتی تأثیر بگذارد، موردی است که مربوط به تعمیم به انواع دیگر موضوعات است.

\

:::info نویسندگان:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

:::info این مقاله در arxiv موجود است تحت مجوز CC BY-NC-ND 4.0.

:::

\