Title
Evaluating Test Suites and Adequacy Criteria Using Simulation-Based Models of Distributed Systems
Authors
Matthew J. Rutherford, Antonio Carzaniga and Alexander L. Wolf.
Abstract
Teskriteriakecukupanmerupakansuatu tools ataualatuntukmengorganisasikanserangkaianaktifitaspengetesanterhadapsistem. Teskriteriakecukupantersebuttelahbanyakdibahas, di antaranyaadateskriteriakecukupandalamkontekssekuensial[1]dandalamkontekssistemkonkuren[2].Namun, belumadateskriteriakecukupan yang secaraspesifikdibahasdalamlingkupsistemterdistribusi.Makalahinimembahasmengenaihaltersebut.
Introduction
Makalahinimembahasmengenaiframeworkteskriteriakecukupan, bukanpadapenciptaankriteriabaru.Jadi, diharapkanmampumembantuengineer, denganmemberikanprediksimengenaitingkatefektifitaskandidatpengetesandankriteriakecukupan yang cocokuntuksistemtersebuttanpaharusmengeksekusikeseluruhanperangkatpengetesankedalamsistem.Sebab, tingkatefektifitassuatuteskriteriakecukupanbergantungpadasistem yang menjadiobjekpengetesannya.Makalahinijugamembahasmengenaibagaimanamenentukanteskecukupan yang paling efektifuntuksistem yang sedangdiuji.
Metode yang diterapkandalamteskriteriakecukupaninimendefinisikankriteriakecukupandalam model berbasissimulasidenganpenerapanteknikdiscrete-event.Discrete-event simulationmengorganisasikan proses-proses danevent yang terjadidalamsistem yang bersangkutan.Proses-proses tersebutmewakilientitasdinamisdalamsistemterdistribusi yang disimulasikan, sedangkaneventdigunakanoleh proses-proses tersebutuntuksalingbertukarinformasi.
Simulasisendirimerupakanabstraksidarispesifikasisistemterdistribusi yang bisa di-eksekusi, dimanabahasaspesifikasitersebutadalahmerupakanbahasapemrogramandalamsistemterdistribusi.
Selainitubisajugamenggunakanmetodeberbasissimulasidenganmetodefault-based analysis.Kombinasiduametodeinibisajugaditerapkansekaligusuntukmembantumengidentifikasirangkaian proses sepertiapa yang paling cocokuntukditerapkanpadasuatusistem.
Methods and Materials
Untukdapatmenentukanteskriteriakecukupan yang efektif, setidaknyadiperlukanmetodeberbasissimulasi, denganalurpengetesansebagaiberikut :
Langkah 1 mengharuskanengineeruntukmemilihkriteriakecukupan
yang cocokuntukmengorganisasikankeseluruhan proses. Langkahke 2 hingga 4
diulanghinggaengineermampumemutuskanperangkatpengetesanmana yang paling
cocokuntuksistemtersebut. Langkah 5 merupakan proses pemetaan input vector
untukdiimplementasikedalam domain sistemtersebut, kemudiandilakukan proses
eksekusitiap-tiapkasuspengujiandalamimplementasitersebut (langkah 6).
Kegiatanpengetesanselesai, danhasilnyabisadipantaumelaluihasildaripengetesan
yang dihasilkanolehsistemtersebut (langkah 8).
Metodelainnya, ataumetodefault-based
analysis,
mencobauntukmembandingkankriteriakecukupandengankemampuannyauntukmendeteksiklas-klas
yang didalamnyamengandungfault (kesalahan).
Pendekatandenganmenerapkanfault-based
analysismaupunsimulation-basedmaupunkombinasidarikeduanya,
diterapkandalamtigaskenario yang berbeda, yaitu :
- Conventional
Cara
konvensionaluntukmenggunakanpengetesanberbasissimulasiadalahdenganmemilihtujuanumumdarikriteriakecukupan
yang akandigunakan, kemudianmemilihperangkatpengetesanmana yang paling
cocokdengankriteria yang telahditentukansebelumnya.
- Boosting
Padaskenarioini,
engineermemilihlebihdarisatukriteriakecukupankemudianmenerapkanseperangkatpengetesan
yang sesuaidengankriteria yang telahdipilihsebelumnya.Dalamskenarioini, engineermenerapkanmetodefault-based
analysis.Penggunaanskenarioinilebihbanyakmemakanbiayadaripadaskenariokonvensional,
sebabpilihankriteriakecukupan yang digunakanlebihdarisatudanperangkatpengetesan
yang diterapkanharusmelaluianalisaberbasiskesalahan (fault-based analysis)
terlebihdahulu.
Akan tetapi, denganskenarioini, resikointracriterionlebihkecildibandingkandenganskenariokonvensional.
Akan tetapi, denganskenarioini, resikointracriterionlebihkecildibandingkandenganskenariokonvensional.
- Ranking
Dalamskenarioini,
engineersecararasionalmemilihsatudaribeberapakriteria yang ada yang
sekiranya paling efektifbiladiterapkandalamsistem yang akandiuji. Jadi,
dalamskenarioini, engineersekaligusmenerapkanskenarioboosting,
kemudianberdasarkanperingkat (ranking) efektifitasterbaik,
kriteriakecukupandanperangkatpengetesannyadipilih.
Dengandemikian,
metodeberbasissimulasibisaditerapkansecaralangsunguntukmengevaluasiperangkatpengetesan
yang paling cocokberdasarkankriteria,
disesuaikandenganlingkungansistemdankodesimulasi yang digunakan.
Sedangkanmetodefault-based
analysisjauhlebihmahaldikarenakanmetodeinimemerlukanbeberapaeksekusisecarasimultanuntuksetiaptest
casedalamsuaturangkaianperangkatpengetesan.
Results
Dari hasilpenelitiandiketahuibahwa :
- Discrete-event simulationmerupakancara yang efektifuntukmengetessuatuimplementasi
- Fault-based analysisbisadigunakanuntukmemprediksitingkatefektifitasdarirangkaianperangkatpengetesan yang paling cocokuntuksuatusistemterdistribusi
- Teknikfault-basedbisadigunakanuntukmemprediksitingkatefektifitasdarisuatukriteriakecukupan.
References