Uno Studio di Replica sulla Percezione del Testing Software vs Efficacia

Indice dei Collegamenti

Astratto

1 Introduzione

2 Studio Originale: Domande di Ricerca e Metodologia

3 Studio Originale: Minacce alla Validità

4 Studio Originale: Risultati

5 Studio Replicato: Domande di Ricerca e Metodologia

6 Studio Replicato: Minacce alla Validità

7 Studio Replicato: Risultati

8 Discussione

9 Lavori Correlati

10 Conclusioni e Riferimenti

\

5 Studio Replicato: Domande di Ricerca e Metodologia

Decidiamo di approfondire i risultati dello studio originale alla ricerca di possibili fattori alla base delle percezioni errate. La psicologia considera che le percezioni delle persone possono essere influenzate da caratteristiche personali come atteggiamenti, interessi personali e aspettative. Pertanto, decidiamo di esaminare le opinioni dei partecipanti conducendo una replica differenziata dello studio originale [47] che estende il suo obiettivo come segue:

1. L'indagine sulla percezione dell'efficacia è estesa per includere domande sui programmi.

2. Vogliamo scoprire se le percezioni dei partecipanti potrebbero essere condizionate dalle loro opinioni. Più precisamente: le loro preferenze (tecnica preferita), la loro performance (la tecnica che pensano di aver applicato meglio) e la complessità della tecnica o del programma (la tecnica che pensano sia più facile da applicare, o il programma più semplice da testare).

   \ Pertanto, lo studio replicato riesamina RQ1 dichiarato nello studio originale (questa volta l'indagine svolta dai partecipanti include anche domande riguardanti i programmi), e affronta le seguenti nuove domande di ricerca:

   – RQ1.6: Le percezioni dei partecipanti sono correlate al numero di difetti segnalati dai partecipanti? Vogliamo valutare se i partecipanti percepiscono come tecnica più efficace quella con cui hanno segnalato più difetti.

   – RQ2: Le opinioni dei partecipanti possono essere utilizzate come predittori per l'efficacia dei test?

   – RQ2.1: Quali sono le opinioni dei partecipanti sulle tecniche e sui programmi? Vogliamo sapere se i partecipanti hanno opinioni diverse sulle tecniche o sui programmi.

   – RQ2.2: Le opinioni dei partecipanti prevedono la loro efficacia? Vogliamo valutare se le opinioni che i partecipanti hanno sulle tecniche (o sui programmi) prevedono quale sia la più efficace per loro.

   – RQ3: Esiste una relazione tra le percezioni e le opinioni dei partecipanti?

   – RQ3.1: Esiste una relazione tra le percezioni e le opinioni dei partecipanti? Vogliamo valutare se le opinioni che i partecipanti hanno sulle tecniche (o sui programmi) sono correlate alle loro percezioni.

   – RQ3.2: Esiste una relazione tra le opinioni dei partecipanti? Vogliamo valutare se una certa opinione che i partecipanti hanno sulle tecniche è correlata ad altre opinioni.

   \ Per rispondere a queste domande, replichiamo lo studio originale con studenti dello stesso corso nell'anno accademico successivo. Questa volta abbiamo 46 studenti. Le modifiche apportate alla replica dell'esperimento sono le seguenti: – Il questionario da completare da parte dei partecipanti alla fine dell'esperimento è esteso per includere nuove domande. Le informazioni che vogliamo raccogliere con le domande di opinione sono: – Performance dei partecipanti sulle tecniche. Con questa domanda ci riferiamo alla conformità del processo. La tecnica applicata meglio è la tecnica che ogni partecipante pensa di aver applicato più accuratamente. Corrisponde a OT1: Quale tecnica hai applicato meglio?

   \ – Preferenze dei partecipanti. Vogliamo conoscere la tecnica preferita di ogni partecipante. Quella con cui si è sentito più a suo agio quando l'ha applicata. Corrisponde a OT2: Quale tecnica ti piace di più?

   – Complessità della tecnica. Vogliamo conoscere la tecnica che ogni partecipante pensa sia stata la più facile per ottenere la conformità del processo. Corrisponde a OT3: Quale tecnica è la più facile da applicare?

   \ – Testabilità del programma. Vogliamo conoscere il programma che è stato più facile da testare. Cioè, il programma in cui la conformità del processo poteva essere ottenuta più facilmente. Corrisponde a OP1: Qual è il programma più semplice? La Tabella 16 riassume le domande dell'indagine. Abbiamo scelto queste domande perché dobbiamo porre domande semplici, che possano essere facilmente comprese dai partecipanti, essendo allo stesso tempo significative. Non vogliamo sovraccaricare i partecipanti con domande complesse che hanno molte spiegazioni. Un questionario complesso potrebbe scoraggiare gli studenti a inviarlo.

   \ – I difetti del programma vengono modificati. Lo studio originale è progettato in modo che tutte le tecniche siano efficaci nel trovare tutti i difetti iniettati. Scegliamo difetti rilevabili da tutte le tecniche in modo che le tecniche possano essere confrontate equamente. Lo studio replicato è progettato per coprire la situazione in cui alcuni difetti non possono essere rilevati da tutte le tecniche. Pertanto, iniettiamo alcuni difetti che le tecniche non sono efficaci nel rilevare. Ad esempio, BT non può rilevare una funzionalità non implementata (poiché ai partecipanti è richiesto di generare test case solo dal codice sorgente). Allo stesso modo,

EP non può trovare un difetto la cui rilevazione dipende dalla combinazione di due classi di equivalenza non valide. Pertanto, nello studio replicato, iniettiamo alcuni difetti che possono essere rilevati da BT ma non da EP e alcuni difetti che possono essere rilevati da EP ma non da BT in ogni programma (ogni programma contiene sei difetti). Si noti che il progetto è bilanciato: iniettiamo lo stesso numero di difetti che BT può rilevare, ma non EP, dell'opposto –EP può rilevare, ma non BT). Questo cambiamento dovrebbe influire sull'efficacia di EP e BT, che potrebbe essere inferiore rispetto allo studio originale. Non dovrebbe influire sull'efficacia di CR.

– Cambiamo l'ordine di applicazione del programma per studiare ulteriormente i problemi di maturazione. L'ordine è ora: cmdline, ntree, nametbl. Questo cambiamento non dovrebbe influire sui risultati.

– I partecipanti eseguono i propri test case. Potrebbe essere che le percezioni errate ottenute nello studio originale siano dovute al fatto che i partecipanti non stanno eseguendo i propri test case.

– Non ci sono più due versioni ma una. I difetti e i guasti non sono l'obiettivo di questo studio. Questo aiuta a semplificare l'esperimento. La Tabella 17 mostra un riepilogo delle modifiche apportate allo studio.

Per misurare l'efficacia della tecnica procediamo nello stesso modo dello studio originale. Non ci affidiamo ai guasti segnalati, poiché i partecipanti potrebbero:

1. Segnalare falsi positivi (guasti non reali).
2. Segnalare lo stesso guasto più di una volta (anche se è stato chiesto loro di non farlo).
3. Perdere guasti corrispondenti a difetti che sono stati esercitati dalla tecnica, ma per qualche motivo non sono stati visti.

Misuriamo la nuova variabile di risposta (difetti segnalati) contando il numero di difetti/guasti segnalati da ciascun partecipante. Analizziamo RQ2.1 nello stesso modo di RQ1.1, e RQ1.6, RQ2.2, RQ3.1 e RQ3.2 come RQ1.2. La Tabella 18 riassume i test statistici utilizzati per rispondere a ciascuna domanda di ricerca.

\

6 Studio Replicato: Minacce alla Validità

Le minacce alla validità elencate nello studio originale si applicano a questo studio replicato. Inoltre, abbiamo identificato le seguenti:

6.1 Validità della Conclusione

1. Affidabilità dell'implementazione del trattamento. L'esperimento replicato è condotto dagli stessi ricercatori che hanno eseguito l'esperimento originale. Questo assicura che i due gruppi di partecipanti non implementino i trattamenti in modo diverso.

   6.2 Validità Interna

   1. Ansia da valutazione. L'uso di studenti e l'associazione della loro performance nell'esperimento con il loro voto nel corso potrebbe spiegare che i partecipanti considerano che la loro performance e non le debolezze delle tecniche spiegano l'efficacia di una tecnica.

6.3 Validità del Costrutto

1. Spiegazione preoperazionale inadeguata dei costrutti di effetto. Poiché le opinioni sono costrutti difficili da operazionalizzare, esiste la possibilità che le domande che appaiono nel questionario non siano interpretate dai partecipanti nel modo in cui intendevamo. 6.4 Validità Esterna

2. Riproducibilità dei risultati. Non è chiaro in che misura i risultati ottenuti qui siano riproducibili. Pertanto, sono necessarie ulteriori repliche dello studio.

   \ I passaggi che dovrebbero essere seguiti sono:

   (a) Replicare lo studio acquisendo le ragioni delle risposte date dai partecipanti.

   (b) Eseguire lo studio con professionisti con le stesse caratteristiche degli studenti utilizzati in questo studio (persone con poca o nessuna esperienza nel test del software).

   (c) Esplorare e definire quali tipi di esperienza potrebbero influenzare i risultati (accademica, professionale, programmazione, test, ecc.).

   (d) Eseguire nuovi studi tenendo in considerazione livelli crescenti di esperienza.

   \ Ancora una volta, di tutte le minacce che influenzano lo studio replicato, l'unica che potrebbe influire sulla validità dei risultati di questo studio in un contesto industriale è quella relativa alla generalizzazione ad altri tipi di soggetti.

\

:::info Autori:

1. Sira Vegas
2. Patricia Riofr´ıo
3. Esperanza Marcos
4. Natalia Juristo

:::

:::info Questo documento è disponibile su arxiv sotto licenza CC BY-NC-ND 4.0.

:::

\