Comprn t Dompostons Prou y Sotwr Custrn Aortms usn Smrty Msurmnts 2001 IEEE Intrnton Conrn on Sotwr Mntnn (ICSM'01). Brn S. Mt & Spros Mnors Mt & Computr Sn, Drx Unvrsty 1
Motvton Usn mou pnns wn trmnn t smrty twn two ompostons s oo Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 2
Custrn t Strutur o Systm (1) Gvn t strutur o systm Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 3
Custrn t Strutur o Systm (2) T o s to prtton t systm strutur rp nto ustrs T ustrs sou rprsnt t susystms Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 4
Custrn t Strutur o Systm (3) But ow o w now tt t ustrn rsut s oo? Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 5
Wys to Evut Sotwr Custrn Rsuts Gvn sotwr ustrn rsut, w n: Assss t nst mnt mo Assss t nst nmr stnr Tnqus: Sutv Opnons Smrty Msurmnts Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 6
Exmp: How Smr r ts Dompostons? M1 M5 M1 M5 M2 M6 M2 M6 M3 M4 M3 M4 M7 M8 M7 M8 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u Bu Es: Smrty st t sm Grn Es: Smrty st t sm R Es: Not s smr Conusons: On w t r s t smrty twn n rss 7
Osrvtons Es r mportnt or trmnn t smrty twn ompostons Exstn msurmnts on t onsr s: Prson / R (smrty) MoJo (stn) Our : Us t s to trmn smrty Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 8
Rsr Otvs Crt nw smrty msurmnts tt us pnns (s) ESm (smrty) MC (stn) Evut t nw smrty msurmnts nst MoJo & Prson/R Us smrty msurmnts to support vuton o sotwr ustrn rsuts (s our WCRE 01 ppr) Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 9
Exmp: How Smr r ts Dompostons? M1 M5 M1 M5 M2 M6 M2 M6 M3 M4 M3 M4 M7 M8 M7 M8 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u A Bu Es: PR, MoJo, MC & ESm unn. A Grn Es: PR, MoJo, MC & ESm unn. A R Es: PR, MoJo unn. ESm, MC ru. 10
Dntons M1 M3 M2 M4 Intrn/Intr-E: E wtn ustr Extrn/Intr-E: E twn two ustrs Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 11
12 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u ESm Exmp MDG
ESm Exmp MDG Stp 1: Fn Common Intrn Intr-Es Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 13
ESm Exmp MDG Common E Wt Tot E Wt = 10 19 = 53% Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 14
15 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u MC Exmp MDG
MC Exmp (A B) A 1 A 2 A 3 B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 16
MC Exmp (A 1 B 1 ) U A 1,1 A 1 A 2 A 3 B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 17
MC Exmp (A 2 B 1 ) U A 1,1 A 2,1 A 1 A 2 A 3 B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 18
MC Exmp (A 1 B 2 ) U A 1,1 A 2,1 A 1 A 2 A 3 A 1,2 B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 19
MC Exmp (A 2 B 2 ) U A 1,1 A 2,1 A 1 A 2 A 3 A 1,2 A 2,2 B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 20
MC Exmp (A 3 B 2 ) U A 1,1 A 2,1 A 1 A 2 A 3 A 1,2 A 2,2 B 1 B 2 A 3,2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 21
MC Exmp (A B) B 1 A 1,1 A 2,1 A 1 A 2 A 3 A 1,2 A 2,2 B 1 B 2 A 3,2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u B 2 22
MC Exmp (A B) Nwy Introu Intr-Es A 1 A 2 A 3 B 1 A 1,1 A 2,1 A 1,2 A 2,2 B 1 B 2 A 3,2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u B 2 23
MC Exmp (B A) B 1,1 B 1,2 A 1 A 2 A 3 B 2,1 B 2,2 B 1 B 2 B 2,3 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 24
MC Exmp (B A) A 1 A 2 B 1,1 B 1,2 A 1 A 2 A 3 B 2,1 B 2,2 B 1 B 2 B 2,3 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u A 3 25
MC Exmp (B A) Nwy Introu Intr-Es A 1 A 2 A 3 A 1 A 2 B 1,1 B 1,2 B 2,1 B 2,2 B 1 B 2 B 2,3 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u A 3 26
MC Cuton A 1 A 2 A 3 Intr-Es Introu MC(A B): ({,},{,},{,},{,}) MC(B A): ({,},{,},{,},{,},{,}) B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u MC= 1 - MC = 1- mx W (M A B, M B A ) Tot E Wt 5 19 = 73.7% 27
Smrty Msurmnt Rp M1 M2 M3 M7 M1 M2 M3 M7 A 1 : M5 M6 M4 M8 A 2 : M5 M6 M4 M8 M1 M2 M3 M7 M1 M2 M3 M7 B 1 : M5 M6 M4 M8 B 2 : M5 M6 M4 M8 P 1 P 2 MoJo(P 1 ) = MoJo(P 2 ) = 87.5% PR(P 1 ) = PR(P 2 ) = P:84.6%, R:68.7%, AVG PR =76.7% Conuson P1 s quy smr to P2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 28
Smrty Msurmnt Rp M1 M2 M3 M7 M1 M2 M3 M7 A 1 : M5 M6 M4 M8 A 2 : M5 M6 M4 M8 M1 M2 M3 M7 M1 M2 M3 M7 B 1 : M5 M6 M4 M8 B 2 : M5 M6 M4 M8 P 1 P 2 ESm(P 1 )=77.8% ESm(P 2 )=58.3% MC(P 1 )=88.9% MC(P 2 )=66.7% Conuson P1 s mor smr tn P2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 29
Summry: ESm & MC ESm: Rwrs ustrn ortms or prsrvn t typs Pnzs ustrn ortms or nn t typs MC: Rwrs t ustrn ortm or rtn osv suustrs Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 30
Sp Mous A 1 A 2 A 3 B 1 B 2 Omnprsnt Mous: Stron Connton to otr Mous Lrry Mous: Awys us y otr mous, nvr us otr mous Isomorp Mous: Mous quy onnt to otr susystms Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 31
Sp Mous A 1 A 2 A 3 B 1 B 2 Sp Trtmnt o Sp Mous ps to trmn t Smrty Omnprsnt Mous: Rmov Lrry Mous: Rmov Isomorp Mous: Rpt Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 32
Cs Stuy Ovrvw Sour Co vo mn() { prnt( o ); } Custrn Aortms Custr Rsut M1 M4 M2 M3 M5 M7 M6 M8 Smrty Evuton Too Prson/ R MoJo ESm MC Smrty Anyss Avr, Vrn, t. s on 100 ustrn runs (4950 Evutons) Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 33
Cs Stuy Osrvtons A smrty msurmnts xt onsstnt vor or t systms stu For systms xmn: I MC(S A ) < MC(S B ) tn MoJo(S A ) < MoJo(S B ), PR(S A ) < PR(S B ), n ESm(S A ) < ESm(S B ) Rmov o sp mous mprov smrty msurmnts Trtn somorp mous spy ony mprov smrty sty ESm n MC prou r n ss vr smrty vus tn Prson/R n MoJo Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 34
Qustons Sp Tns To: AT&T Rsr Sun Mrosystms DARPA NSF US Army Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 35