Comparing the Decompositions Produced by Software Clustering Algorithms using Similarity Measurements

Transcription

1 Comprn t Dompostons Prou y Sotwr Custrn Aortms usn Smrty Msurmnts 2001 IEEE Intrnton Conrn on Sotwr Mntnn (ICSM'01). Brn S. Mt & Spros Mnors Mt & Computr Sn, Drx Unvrsty 1

2 Motvton Usn mou pnns wn trmnn t smrty twn two ompostons s oo Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 2

3 Custrn t Strutur o Systm (1) Gvn t strutur o systm Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 3

4 Custrn t Strutur o Systm (2) T o s to prtton t systm strutur rp nto ustrs T ustrs sou rprsnt t susystms Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 4

5 Custrn t Strutur o Systm (3) But ow o w now tt t ustrn rsut s oo? Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 5

6 Wys to Evut Sotwr Custrn Rsuts Gvn sotwr ustrn rsut, w n: Assss t nst mnt mo Assss t nst nmr stnr Tnqus: Sutv Opnons Smrty Msurmnts Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 6

7 Exmp: How Smr r ts Dompostons? M1 M5 M1 M5 M2 M6 M2 M6 M3 M4 M3 M4 M7 M8 M7 M8 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u Bu Es: Smrty st t sm Grn Es: Smrty st t sm R Es: Not s smr Conusons: On w t r s t smrty twn n rss 7

8 Osrvtons Es r mportnt or trmnn t smrty twn ompostons Exstn msurmnts on t onsr s: Prson / R (smrty) MoJo (stn) Our : Us t s to trmn smrty Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 8

9 Rsr Otvs Crt nw smrty msurmnts tt us pnns (s) ESm (smrty) MC (stn) Evut t nw smrty msurmnts nst MoJo & Prson/R Us smrty msurmnts to support vuton o sotwr ustrn rsuts (s our WCRE 01 ppr) Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 9

10 Exmp: How Smr r ts Dompostons? M1 M5 M1 M5 M2 M6 M2 M6 M3 M4 M3 M4 M7 M8 M7 M8 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u A Bu Es: PR, MoJo, MC & ESm unn. A Grn Es: PR, MoJo, MC & ESm unn. A R Es: PR, MoJo unn. ESm, MC ru. 10

11 Dntons M1 M3 M2 M4 Intrn/Intr-E: E wtn ustr Extrn/Intr-E: E twn two ustrs Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 11

12 12 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u ESm Exmp MDG

13 ESm Exmp MDG Stp 1: Fn Common Intrn Intr-Es Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 13

14 ESm Exmp MDG Common E Wt Tot E Wt = = 53% Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 14

15 15 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u MC Exmp MDG

16 MC Exmp (A B) A 1 A 2 A 3 B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 16

17 MC Exmp (A 1 B 1 ) U A 1,1 A 1 A 2 A 3 B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 17

18 MC Exmp (A 2 B 1 ) U A 1,1 A 2,1 A 1 A 2 A 3 B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 18

19 MC Exmp (A 1 B 2 ) U A 1,1 A 2,1 A 1 A 2 A 3 A 1,2 B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 19

20 MC Exmp (A 2 B 2 ) U A 1,1 A 2,1 A 1 A 2 A 3 A 1,2 A 2,2 B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 20

21 MC Exmp (A 3 B 2 ) U A 1,1 A 2,1 A 1 A 2 A 3 A 1,2 A 2,2 B 1 B 2 A 3,2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 21

22 MC Exmp (A B) B 1 A 1,1 A 2,1 A 1 A 2 A 3 A 1,2 A 2,2 B 1 B 2 A 3,2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u B 2 22

23 MC Exmp (A B) Nwy Introu Intr-Es A 1 A 2 A 3 B 1 A 1,1 A 2,1 A 1,2 A 2,2 B 1 B 2 A 3,2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u B 2 23

24 MC Exmp (B A) B 1,1 B 1,2 A 1 A 2 A 3 B 2,1 B 2,2 B 1 B 2 B 2,3 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 24

25 MC Exmp (B A) A 1 A 2 B 1,1 B 1,2 A 1 A 2 A 3 B 2,1 B 2,2 B 1 B 2 B 2,3 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u A 3 25

26 MC Exmp (B A) Nwy Introu Intr-Es A 1 A 2 A 3 A 1 A 2 B 1,1 B 1,2 B 2,1 B 2,2 B 1 B 2 B 2,3 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u A 3 26

27 MC Cuton A 1 A 2 A 3 Intr-Es Introu MC(A B): ({,},{,},{,},{,}) MC(B A): ({,},{,},{,},{,},{,}) B 1 B 2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u MC= 1 - MC = 1- mx W (M A B, M B A ) Tot E Wt 5 19 = 73.7% 27

28 Smrty Msurmnt Rp M1 M2 M3 M7 M1 M2 M3 M7 A 1 : M5 M6 M4 M8 A 2 : M5 M6 M4 M8 M1 M2 M3 M7 M1 M2 M3 M7 B 1 : M5 M6 M4 M8 B 2 : M5 M6 M4 M8 P 1 P 2 MoJo(P 1 ) = MoJo(P 2 ) = 87.5% PR(P 1 ) = PR(P 2 ) = P:84.6%, R:68.7%, AVG PR =76.7% Conuson P1 s quy smr to P2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 28

29 Smrty Msurmnt Rp M1 M2 M3 M7 M1 M2 M3 M7 A 1 : M5 M6 M4 M8 A 2 : M5 M6 M4 M8 M1 M2 M3 M7 M1 M2 M3 M7 B 1 : M5 M6 M4 M8 B 2 : M5 M6 M4 M8 P 1 P 2 ESm(P 1 )=77.8% ESm(P 2 )=58.3% MC(P 1 )=88.9% MC(P 2 )=66.7% Conuson P1 s mor smr tn P2 Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 29

30 Summry: ESm & MC ESm: Rwrs ustrn ortms or prsrvn t typs Pnzs ustrn ortms or nn t typs MC: Rwrs t ustrn ortm or rtn osv suustrs Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 30

31 Sp Mous A 1 A 2 A 3 B 1 B 2 Omnprsnt Mous: Stron Connton to otr Mous Lrry Mous: Awys us y otr mous, nvr us otr mous Isomorp Mous: Mous quy onnt to otr susystms Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 31

32 Sp Mous A 1 A 2 A 3 B 1 B 2 Sp Trtmnt o Sp Mous ps to trmn t Smrty Omnprsnt Mous: Rmov Lrry Mous: Rmov Isomorp Mous: Rpt Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 32

33 Cs Stuy Ovrvw Sour Co vo mn() { prnt( o ); } Custrn Aortms Custr Rsut M1 M4 M2 M3 M5 M7 M6 M8 Smrty Evuton Too Prson/ R MoJo ESm MC Smrty Anyss Avr, Vrn, t. s on 100 ustrn runs (4950 Evutons) Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 33

34 Cs Stuy Osrvtons A smrty msurmnts xt onsstnt vor or t systms stu For systms xmn: I MC(S A ) < MC(S B ) tn MoJo(S A ) < MoJo(S B ), PR(S A ) < PR(S B ), n ESm(S A ) < ESm(S B ) Rmov o sp mous mprov smrty msurmnts Trtn somorp mous spy ony mprov smrty sty ESm n MC prou r n ss vr smrty vus tn Prson/R n MoJo Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 34

35 Qustons Sp Tns To: AT&T Rsr Sun Mrosystms DARPA NSF US Army Drx Unvrsty Sotwr Ennrn Rsr Group (SERG) ttp://sr.ms.rx.u 35