Pozicija zvarov na digitalnih slikovnih posnetkih

Transcription

1 UNIVERZA V LJUBLJANI FAKULTETA ZA ELEKTROTEHNIKO Mitja Placer Pozicija zvarov na digitalnih slikovnih posnetkih DIPLOMSKO DELO UNIVERZITETNEGA ŠTUDIJA Mentor: prof. dr. Peter Šuhel Ljubljana, 2004

2

3 Zahvala Mentorju prof. dr. Petru Šuhlu se zahvaljujem za vso izkazano zaupanje in pomoč ob izdelavi diplomskega dela. Prav tako bi se rad iskreno zahvalil asistentu dr. Boštjanu Murovcu za vse koristne nasvete, pripombe, vsestransko pomoč in prijateljsko besedo. Gospodu Stanislavu Sraki se iz vsega srca zahvaljujem za vse, kar je storil, da so se stvari premaknile v pravo smer. Podjetju Pakman d.o.o. iz Celja se iskreno zahvaljujem za idejo tematike diplomskega dela in za prispevana sredstva. En velikanski hvala gre tudi Maši... in vsem prijateljem. Čeprav besede v takih primerih nekako izgubijo svojo moč, se svojim Staršem in Bratu zahvaljujem za vse. Ampak prav vse! Mitja Placer

4

5 Mojim neverjetnim staršem...in bratu

6

7 Kazalo Seznam uporabljenih simbolov Povzetek 3 Abstract 5. Uvod 7 2. Zajem slike in osvetlitev 2.. Zajem slike 2... Vidno polje video kamere in ločljivost Glajenje slike Postavitev video kamere Izbira tipa video kamere Osvetlitev Splošno o osvetlitvi Vrsta izvora osvetlitve Postavitev izvora osvetlitve 7 3. Razmislek pred pričetkom razvijanja algoritma Na kaj se bom osredotočil? Izbira programskega jezika ali paketa 2 4. Algoritem za razpoznavo pozicije zvarov Omejitev iskalnega področja Pretvorba barvnega prostora HSV barvno sito Morfološki operatorji Erozija Dilatacija Označevanje povezanih komponent 32

8 4.6. Izračun značilk povezanih komponent Združevanje povezanih komponent Določitev pozicije zvarov Sklepne ugotovitve 43 Izjava 47

9 Seznam uporabljenih simbolov Seznam uporabljenih simbolov Res Dejanska ločljivost h Širina vidnega polja video kamere Res HCAM Vodoravna ločljivost video kamere SE Erode Strukturni element erozije SE Dilate Strukturni element dilatacije MAX Največja izmed komponent R, G in B MIN Najmanjša izmed komponent R, G in B R, G, B Rdeča, zelena in modra komponenta H, S, V Komponenta barve, nasičenosti in svetlosti k Smerni koeficient glavne osi objekta k Ortho Smerni koeficient pravokotnice na glavno os objekta

10

11 Povzetek 3 Povzetek Diplomsko delo je del raziskovalnega projekta, katerega cilj je popolna avtomatizacija nadzora kakovosti kompresorskih zvarov v industriji bele tehnike, ki se sedaj opravlja ročno s pomočjo senzorja polnilnega plina. Namen prve faze projekta, ki jo to diplomsko delo predstavlja, je razviti algoritem za razpoznavo dvodimenzionalne (2D) pozicije zvarov na kompresorju kuhinjskega hladilnika na osnovi računalniškega vida, ki naj bi bil uporaben v praksi; torej naj bi bil robusten, natančen, zanesljiv in računsko ne preveč potraten, ker naj bi se izvajal na cenovno dostopnem osebnem računalniku v omejenem času. Prvi razmislek zahteva že sam postopek zajema slike, poleg tega je potrebno ugotoviti, ali je nalogo mogoče izvesti s cenejšo črno-belo video kamero, ali je potrebno poseči po dražji, barvni. Nadalje smo se posvetili enemu bistvenih elementov pri zajemu slike: osvetlitvi. S pravilno izbiro osvetlitve se namreč lahko izognemo kasnejšim težavam pri računalniški obdelavi slike in tako lahko bistveno pripomoremo k hitrosti in učinkovitosti algoritma razpoznave. Čeprav pride v industriji večinoma v poštev uporaba namensko razvitih izvršilnih programov, bi bil neposreden razvoj takega programa zelo slaba odločitev, ker prihaja v razvojni fazi razpoznavnih algoritmov do več različnih poskusov izvedbe (uspešnih in neuspešnih). Zato smo se odločili za uporabo programskega paketa MATLAB z Image Processing Toolbox-om, ki nam je omogočil, da hitro in učinkovito implementiramo podalgoritme, ki smo si jih zamislili: omejitev iskalnega področja, pretvorbo barvnega prostora, HSV barvno sito, morfološka operatorja erozijo (ang. erosion) in dilatacijo (ang. dilation), označevanje povezanih komponent (ang. connected-component labeling), izračun značilk najdenih povezanih komponent, združevanje povezanih komponent in nazadnje končno podalgoritem, ki s pomočjo predhodnih rezultatov poišče iskane zvare. Seveda ima enostavnost v razvojni fazi kasneje za svojo ceno počasnost izvrševanja programa, ki pa jo je mogoče s prevajanjem v katerikoli višji programski jezik enostavno rešiti. Z pomočjo množice poskusnih slik sem ugotovil, da sem razvil robusten, natančen in hiter algoritem, ki bi bil, preveden v izvršilno obliko, lahko uporaben v industriji.

12 Ključne besede: strojni vid, računalniški vid, obdelava slik, razpoznavanje vzorcev, avtomatizacija, nadzor kakovosti, video kamera, robot.

13 Abstract 5 Abstract This diploma thesis is a constitutional part of a research project whose goal is to fully automate the solder joint quality inspection process in the home appliances industry. Nowadays this is an operator executed process with the aid of a filler gas sensor. The purpose of the first part of the research project, represented by this diploma thesis, is to develop a computer vision based algorithm for solder joint recognition on the kitchen refrigerator's compressor that would be usable in praxis: it should be robust, accurate, reliable and computationally unintensive, since it is intended to be executed on an affordable personal computer in a limited period of time. The following list summarizes the main issues that this work focuses on. Firstly, there is a decision about the type of the camera that will be used for the task. We need to answer the question whether the capabilities of a low cost black and white camera are sufficient for an efficient solder recognition or there is a rational need for an advanced device with color capabilities. Secondly, the extremely important illumination problem needs to be treated properly. With a properly chosen lighting we can avoid problems in later stages of recognition, thus resulting in a more effective and faster execution of the whole process. Although mostly tailor-made executable programs are used in industry, a direct development of such a program is not a good choice since many trial versions (successful and otherwise) are written in the development phase. This was the reason why we have chosen MATLAB with its Image Processing Toolbox which made it possible to implement the planned subalgorithms fastly and efficiently: limitation of the searching space, color space transformation, HSV color filtering, morphological operators erosion and dilation, connected-component labeling, feature computation of connected-components found, merging of connectedcomponents and finally the subalgorithm that finds the solder joints we are looking for with the aid of all of the previous results. The simplicity of using MATLAB in the development phase has its drawback the execution speed of the program, but this can easily be solved with the translation of the final program into a high-level programming language.

14 6 Abstract Using a set of trial images we have realized that we succeded in developing of a robust, accurate and fast algorithm, that could be utilized in industry. Keywords: machine vision, computer vision, image processing, pattern recognition, automation, quality control, video camera, robot.

15 . Uvod 7. Uvod Dvigniti raven kakovosti izdelkom in predvsem zmanjšati stroške dela morata biti v ospredju seznama glavnih ciljev vsakega podjetja, ki si želi ohraniti svoj tržni položaj na današnjem neizprosnem globalnem trgu. Ena od možnih rešitev je selitev proizvodnje v države s poceni delovno silo - na bližnji ali daljni vzhod, od koder izvira že marsikateri spoštovanja vreden tekmec, vendar se s tem postavlja kakovost praviloma na stranski tir, saj tamkajšnji delavci nimajo istih delovnih navad in izkušenj kot domači. Druga, boljša rešitev, za katero je znano, da združuje oba cilja, je avtomatizacija oziroma robotizacija proizvodnje. Roboti s svojo nezmotljivostjo, natančnostjo in neutrudljivostjo vsekakor dvignejo raven kakovosti izdelkom, glede na to, da ne potrebujejo počitka, jih ni potrebno plačevati, ne stavkajo (in še bi lahko naštevali), so dolgoročno gotovo varčnejša alternativa delavcem. Še posebej to velja v zadnjem času, ko postajajo roboti cenovno vse dostopnejši, stroški dela pa vse višji. Poleg nižanja cen robotov prihaja tudi do širjenja njiihovih družin, tako da se njihova uporaba seli tudi na druga področja, ki niso več tesno povezana z avtomobilsko industrijo. Na eni strani imamo orjake, ki lahko premikajo petsto kilogramov opek [] ali dve zabave željni osebi na sedežih, ki so pritrjeni nanj [2], na drugi pa (v primerjavi s prvimi) prave pritlikavce, niti dvajset kilogramov težke robote [3]. Slednji ne zmorejo premikati več kakor kilogram ali dva težka bremena, so pa zato majhni in poceni, zaradi česar so še toliko bolj uporabni. Kontrola kakovosti izdelkov je na primer eno izmed področij, za katerega so slednji kot nalašč ustvarjeni, če je zahtevano delovno območje omejeno, saj jim ni potrebno premikati težkih bremen, ker je njihovo orodje pogosto senzor majhne mase. Za takšen primer gre pri raziskovalnem projektu, katerega del je to diplomsko delo: za razvoj avtomatiziranega (robotiziranega) postopka popolnega nadzora kakovosti kompresorskih zvarov v industriji bele tehnike. Ta se sedaj opravlja ročno na način, pri katerem operater vsak zvar vsakega kompresorja (zato popolni nadzor kakovosti) čim bliže in po čim večjem loku obkroži s senzorjem za polnilni plin (slika ).

16 8. Uvod Slika : Kompresor, skica senzorja za polnilni plin in označeni zvari na cevkah Če senzor javi prisotnost plina, se hladilnik izloči iz nadaljnega postopka proizvodnje in se ga preusmeri v popravilo. To je za človeka sicer enostavno, vendar precej monotono opravilo, zaradi česar prihaja predvsem ob koncu izmene do površne kontrole in s tem do nezavrnitve pomanjkljivih izdelkov, v našem primeru hladilnikov ali zamrzovalnikov, kar vsekakor ne vpliva ugodno na ugled znamke. Ker o morebitnih že izvedenih rešitvah avtomatiziranega postopka popolnega nadzora kakovosti kompresorskih zvarov ni bilo mogoče dobiti podatkov, se je glede na zahteve odločilo, da bo projekt slonel na uporabi že omenjenega industrijskega robota majhnih mer in nosilnosti ter sistema računalniškega vida. Te zahteve so: razpoznati zvare na vseh cevkah, ki izhajajo iz kompresorja, ugotoviti prostorsko pozicijo zvarov, zagotoviti točnost najmanj 5 milimetrov, ugotoviti ravninski naklon osi cevke, na kateri je zvar, postopek razpoznave mora biti čim hitrejši in robusten. Ker je raziskovalni projekt precej obsežen, ga je mogoče razdeliti na smiselne, povezane in zaporedne podsklope:. Razpoznava pozicije zvarov na digitalnih slikovnih posnetkih.

17 . Uvod 9 2. Določitev oddaljenosti razpoznanih zvarov od robota ali video kamere. 3. S pomočjo ustreznega načina komunikacije posredovati navodila robotu. Moje diplomsko delo predstavlja prvi podsklop in se omejuje na razpoznavo pozicije zvarov na digitalnih slikovnih posnetkih, kar vključuje naslednje podnaloge in zahteve: izbiro ustreznega postopka zajemanja posnetkov in izbiro tipa video kamere (črno-belega ali barvnega), postavitev ustrezne osvetlitve, razvoj čim hitrejšega, robustnega in zanesljivega algoritma razpoznave zvarov s točnostjo najmanj 5 milimetrov. ugotoviti ravninski naklon osi cevke, na kateri je zvar Rezultati podsklopa, ki je nazorno razčlenjen v nadaljevanju, naj bi torej služili kot vhod v sledeče podsklope, katerih opis presega okvir tega dela.

18

19 2. Zajem slike in osvetlitev 2. Zajem slike in osvetlitev 2.. Zajem slike 2... Vidno polje video kamere in ločljivost Za algoritme razpoznavanja slikovnih vzorcev je pomembno, da je na posnetkih, ki se jih uporablja pri razpoznavi, prisotnih čim manj motilnih oziroma nepotrebnih elementov. Prvi in najenostavnejši korak, s pomočjo katerega se tej zahtevi približamo je, da vidno polje kamere do tolikšne mere zožimo, da so na sliki še vedno prisotni vsi za razpoznavo nujni elementi skupaj z najmanjšim nujnim obsegom okolice, ki ga narekuje negotovost pozicije (v našem primeru) kompresorja na sliki (slika 2). Slika 2: S približevanjem ali z uporabo povečave zmanjšano vidno polje S tem tudi v največji meri izkoristimo ločljivost kamere, saj zajamemo le manjši in najpomembnejši del objekta. V prejšnjem primeru bi se namreč velik del razpoložljive informacije nekoristno porabil za zajem nepotrebnih okoliških predmetov. Tako lahko že z uporabo video kamere nizke ločlijvosti 640x480

20 2 2. Zajem slike in osvetlitev slikovnih elementov dobimo več kot zadovoljivo dejansko ločljivost (Res) () s čemer v strojnem pogledu zadostimo zahtevi po točnosti 5 mm. h 0,3m Re s = = = 0,0005m = 0,5mm Re s 640 HCAM () kjer pomenita h širino vidnega polja video kamere pri izbrani perspektivi in Res HCAM vodoravno ločljivost video kamere Glajenje slike Ker smo za pridobitev vzorcev iz praktičnih razlogov uporabljali le en hladilnik s tremi zvari, ki se na vsakem proizvedenem hladilno-zamrzovalnem aparatu razlikujejo, poleg tega pa prihaja pri zajemu slik do optičnih popačenj, šuma senzorja slikovne ravnine in elektronskih gradnikov [4, stran 32], smo pred nadaljnjo obdelavo, da bi se znebili nebistvenih podrobnosti, vsako sliko gladili z gladilnim sitom. Ker bi njegova programska izvedba po nepotrebnem porabila veliko računske moči, smo se raje odločili za enostavno snemanje neizostrenih posnetkov (s pomočjo ročne nastavitve ostrine), kar daje zelo podoben rezultat brez pomoči računalnika (slika 3) Postavitev video kamere Kot lahko razberemo iz slik, sta na desni strani kompresorja cevki postavljeni zelo skupaj in globinsko gledano ena za drugo, kar lahko privede pri različnih kompersorjih do njunega prekrivanja in s tem do nerazpoznave zvarov. To naj ne bi predstavljalo posebne težave, saj naj bi se vnaprej vedelo, za kateri tip kompresorja gre in koliko cevk ima, tako da bi ob morebitnem prekrivanju kamero premaknili za nekaj centimetrov v drugo lego (najbolje navzgor), dokler ne bi sistem razpoznal

21 2. Zajem slike in osvetlitev 3 Slika 3: Glajenje slike s pomočjo ročne nastavitve ostrine vseh potrebnih zvarov. V nadaljevanju bomo uporabljali dosedanjo perspektivo, ker ima za prikazan tip kompresorja že omenjene ugodne lastnosti: na pravo stopnjo zmanjšano vidno polje in neprekrivajoče zvare. Da bi se kar najbolj približali resničnim razmeram, ko naj bi hladilno-zamrzovalni aparat prišel po tekočem traku do določene mere naključno postavljen, bomo posnetke izvajali kar brez stativa. Na ta način bo namreč prihajalo do s prostim očesom opaznih razlik med posameznimi posnetki Izbira tipa video kamere Da bi bil sistem finančno kar najbolj dosegljiv in s tem zanimiv za industrijo, je potrebno biti pozoren pri izbiri vseh njegovih komponent. Te ne smejo biti predimenzionirane in morajo kljub temu povsem zadovoljivo opravljati svoje naloge, kar še posebej velja za video kamero. Glede ločljivosti smo že ugotovili, da naš sistem ni pretirano zahteven, ker povsem zadošča že video kamera VGA ločljivosti 640x480 slikovnih elementov. Sedaj se bomo osredotočili še na izbiro tipa video kamere, črno-belega ali barvnega, ker je to funkcijsko in cenovno gledano vprašanje primarnega pomena, ne ozirajoč se na proizvajalca, tip povezave, hitrost osveževanja ali katerokoli drugo značilnost. Ker smo si barvne posnetke lahko že ogledali, prikazujemo za primerjavo na sliki 4 še črno-belega:

22 4 2. Zajem slike in osvetlitev Slika 4: Slikovni posnetek iz črno-bele video kamere in povečava najbolj problematičnega dela Vsi barvno neizraziti elementi se pri zajemu s črno-belo video kamero bistveno ne spremenijo: sam kompresor, ohišje hladilnika in napajalni kabel. Bistveno spremembo lahko opazimo le na kompresorjevih cevkah, ki so iz izstopajočega elementa žive barve prešle v odtenek sive in se še posebno na desni strani skoraj zlile z ozadjem (povečava na sliki 4). To je pomembno dejstvo, ki bi v nadaljevanju zelo oteževalo razpoznavo, saj so vsi iskani zvari postavljeni ravno na njih. Zaradi tolikšne izgube informacije bi se bilo potrebno zateči k uporabi dodatnih programskih postopkov že v fazi predobdelave slike (uporabi prevedbene tabele (funkcije) ali spreminjanja histograma sivih nivojev [4, stran 38]) in tudi kasneje, kar bi se nedvomno poznalo v povečanem računskem času. Vprašanje je, koliko bi bil takšen pristop robusten zaradi že omenjene težke razločljivosti cevk od ozadja. S pomočjo pravkar omenjenih ugotovitev smo tako prišli do zaključka, da bi se uporaba črno-bele video kamere izkazala za neprimerno predvsem zaradi vprašanja robustnosti in računske potratnosti.

23 2. Zajem slike in osvetlitev Osvetlitev Splošno o osvetlitvi Osvetlitev je bistveni element vsakega sistema računalniškega vida, ki v veliki meri odloča o (ne)uspešnosti nadaljnih razpoznavnih postopkov. Prvo vprašanje, ki se nam postavi samo po sebi, je, zakaj sploh potrebujemo posebno osvetlitev, če so industrijski roboti najpogosteje postavljeni v delovno okolje skupaj z ostalimi delavci, ti pa brez težav opravljajo svoje naloge pri običajni osvetlitvi. Zakaj jih torej roboti ne zmorejo? Enostavno zato, ker se je človeški vid skozi milijone let evolucije tako izpopolnil, da večino prilagoditev na spremenjene lastnosti svetlobe opravi podzavestno in neverjetno učinkovito [5, stran 7]. Za robotski vid so najpomembnejše naslednje tri svetlobne lastnosti: barvna temperatura: človek ima vedno občutek, da je bela barva res bela ne glede na vrsto osvetlitve (barvno temperaturo), kar nam omogoča podzavestna korekcija beline. Pri zajemu slike s pomočjo video kamere pa to ni vedno res. Kot lahko vidimo na sliki 5, se barve pri različnih nastavitvah korekcije beline lahko zelo razlikujejo: Slika 5: Slika, kot jo zazna oko (levo), s samodejno nastavitvijo korekcije beline (sredina) in ročno nastavitvijo na osvetlitev barvne temperature 5600K [6] svetlobna jakost: sprememba te lastnosti ne povzroča preglavic, vse dokler se nahaja v običajnih okvirih. Naše oko se prilagaja z ožanjem in širjenjem

24 6 2. Zajem slike in osvetlitev zenice, pri video kameri pa to delo opravlja zaslonka. Težava za sisteme samodejnega razpoznavanja nastane v primeru, ko pride do delne zatemnitve (osvetlitve) predmeta, ki ga opazujemo. Človek take spremembe mogoče niti ne opazi, vendar je za sistem robotskega vida to skoraj zagotovo vzrok za nerazpoznavo vzorca. smer izvora osvetlitve: veljajo podobne ugotovitve kot zgoraj. Že samo gibanje sonca čez dan ali premaknitev ene od luči povzroči povsem drugačno sliko predmeta, kar verjetno ponovno vodi k nerazpoznavi vzorca, še posebej, če ima predmet izrazito prostorsko obliko (slika 6). Tudi v tem primeru je človek v veliki prednosti. Slika 6: Različni odsevi na kompresorju in cevkah (povečave) pri različnih smereh izvora osvetlitve Razviti tak algoritem, ki bi do najmanjše možne mere izločal vse ravnokar naštete vplive, da bi robot lahko deloval v nespremenjenem človekovem okolju, bi bilo možno, vendar se zanesljivosti svetlobno izoliranega sistema ne bi mogli približati, razvoj takega sistema pa bi bil zapleten in dolgotrajen ter zaradi tega ekonomsko vprašljiv.

25 2. Zajem slike in osvetlitev Vrsta izvora osvetlitve Učinkoviti sistemi za razpoznavo vzorcev v industriji torej nujno potrebujejo nespremenljive svetlobne pogoje, ki jih omogočajo svetlobno izolirane delovne celice z lastnim izvorom osvetlitve. Slednjih poznamo več vrst [5, stran 266]: visokofrekvenčne fluorescentne cevi, halogenske žarnice, LED, laserje. V našem primeru smo uporabljali visokofrekvenčno fluorescentno cev, ki ima poleg močne in homogene svetlobe, konstantne barvne temperature in svetlobne jakosti tudi to lepo lastnost, da je v veliki meri neobčutljiva na omrežne motnje, zaradi česar je slika, ki jo zazna video kamera, konstantna [5, stran 266] Postavitev izvora osvetlitve Vprašanje postavitve izvora osvetlitve je močno povezano z zamišljenim potekom algoritma razpoznave. Ker so zvari sami po sebi težko opisljivi, saj so povsem različnih barv, smo se odločili, da jih bomo poskusili razpoznati s pomočjo cevk, na katerih ležijo. Kot smo že zapisali, le-te namreč s svojo nasičeno barvo močno izstopajo iz povsem akromatične okolice, zatorej je bilo potrebno izvor osvetlitve postaviti tako, da bi čim bolj olajšal postopek njihove razpoznave. Za ločitev cevk od ozadja smo se odločili uporabiti HSV barvno sito in kasnejše postopke, temelječe na obdelovanju njegovega izhoda, ki dajejo zaželjene rezultate le, če so cevke osvetljene vsaj približno simetrično glede na svojo os (slika 7). Zaradi tega je bilo potrebno zagotoviti tako osvetlitev, da je izvor postavljen pod najmanjšim možnim kotom glede na os video kamere Takšni zahtevi bi se najbolj približali z uporabo svetlobnega obroča (ringlight) [5, stran 269], ker pa ga nismo imeli na voljo, smo posnetke zajemali ob pomoči fluorescentne cevi, postavljene čim bliže video kameri, kar se je prav tako izkazalo za učinkovit prijem.

26 8 2. Zajem slike in osvetlitev Slika 7: Shemi postavitve osvetlitve in izhod barvnega sita (označeno z rdečim) pri asimetrični (levo) in približno simetrični (desno) osvetlitvi cevk

27 3. Razmislek pred pričetkom razvijanja algoritma 9 3. Razmislek pred pričetkom razvijanja algoritma 3.. Na kaj se bom osredotočil? Preden se lotimo kakršnegakoli razpoznavanja, je potrebno točno vedeti, kaj oziroma katere lastnosti sploh želimo najti. V našem primeru so to zvari na bakrenih cevkah, ki izhajajo iz kompresorja hladilno-zamrzovalnega aparata. Sliši se enostavno, vendar če si jih pobliže ogledamo, jim težko določimo kakšno izrazito skupno lastnost (slika 8): Slika 8: Povečava zvarov na obeh straneh kompresorja. Opazne so velike razlike v barvi Največjo razliko vsekakor opazimo v njihovi obarvanosti, zaradi česar kakršnokoli razpoznavanje na osnovi te lastnosti že na začetku odpade. Edina izstopajoča skupna značilnost na mestih zvara je zožitev na prehodu iz kompresorjeve na zavarjeno cevko, vendar se tudi ta pojavlja dokaj neenakomerno zaradi nanosa varilne mase, ki je lahko prisoten na eni ali obeh straneh (slike) zvara. Zaradi tega pojava bi bilo tudi razpoznavanje na osnovi iskanja zožitve na cevkah verjetno neuspešno. Tako smo prišli do ugotovitve, da si bomo z lastnostmi samih zvarov (barvo in obliko) težko pomagali, zaradi česar se bomo morali osredotočiti na

28 20 3. Razmislek pred pričetkom razvijanja algoritma njihovo okolico in ugotoviti, na kakšen način bi lahko posredno prišli do istega rezultata razpoznave pozicije zvarov. Kot smo že zapisali, so cevke (ali vsaj njihov del), na katerih ležijo zvari, bakrene in zaradi tega značilne žive rdeče-oranžne barve, ki močno izstopa od okolice. Za vsako od njih je v smeri iz kompresorja navzven značilen ostri prehod iz kompresorjeve črne barve v barvo bakra. Nato po točno določeni in vedno enaki razdalji (ta bakreni del je še vedno na kompresorjevem delu cevke) nastopi zvar, ki je lahko različnih barv, vendar je vedno od cevke dovolj kontrasten, da po vsej njeni širini vidno prekine barvo bakra. Za njim se nahaja zožen del cevke, ki je lahko ponovno bakren ali črne barve (slika 9): Slika 9: Cevki s označenimi značilnostmi Opisane lastnosti so skupne vsem cevkam in se med različnimi kompresorji ne spreminjajo, zaradi česar smo se jih odločili uporabiti v našem algoritmu razpoznavanja pozicije zvarov. Označena fiksna razdalja, ki je zaradi majhne oddaljenosti video kamere na sliki 9 različna pri obeh cevkah, postane pri snemanju

29 3. Razmislek pred pričetkom razvijanja algoritma 2 z razdalje, določene v razdelku 2..., skoraj enaka, vsekakor pa bistveno ne ogroža zahtevane točnosti 5 mm. 3.2 Izbira programskega jezika ali paketa Razvoj namenskega algoritma za računalniški vid se razlikuje od primera do primera in je v veliki meri odvisen od razvijalčevih izkušenj. Poleg tega to področje nima definiranih točno določenih postopkov za dosego ozko specifičnih ciljev, ker bi to bilo nesmiselno. Zaradi vseh teh razlogov prihaja v razvojni fazi do velikega števila poskusov različnih izvedb konkretne naloge, vse dokler ni razvijalec povsem zadovoljen s svojim rezultatom. Če bi bilo potrebno za vsak poskus napisati na novo enega ali več podalgoritmov, bi bilo to nesmiselno in razvoj bi trajal predolgo. Zato je najboljša rešitev uporaba enega izmed programskih paketov za obdelavo slik na trgu ali katere izmed knjižnic za obdelavo slik za splošnonamenske višje programske jezike. V našem primeru smo se odločili za prvo možnost, konkretno za programski paket MATLAB z Image Processing Toolbox-om, ker se nam je zdela najenostavnejša za uporabo, saj se nam ni bilo potrebno ukvarjati s problemi, ki niso neposredno povezani s samo razpoznavo: inicializacijo spremenljivk, robnimi področji slike, neželenimi branji in pisanji po pomnilniku. Edina omembe vredna slabost takega pristopa je nizka hitrost izvrševanja. S takim prijemom se program namreč izvaja nekajkrat dlje kot bi se enakovreden, napisan v višjem programskem jeziku in preveden v izvršilno obliko. V laboratoriju to sicer ne predstavlja posebnega problema, v praksi pa ga, če je postavljen največji dopustni časovni okvir, v katerm naj bi se naloga izvedla, kot je to v našem primeru. Zaradi tega bi bilo potrebno algoritem pred uporabo v industriji s pomočjo katerega izmed višjih jezikov nujno prenesti v hitro izvajajočo izvršilno obliko.

30

31 4. Algoritem za razpoznavo pozicije zvarov Algoritem za razpoznavo pozicije zvarov 4.. Omejitev iskalnega področja Ker predstavljajo cevke le majhen del zajete slike, saj veliko večino zasede kompresor (na sredini) in ozadje (spodaj in zgoraj), smo se z namenom pohitritve algoritma odločili, da bomo iskalno področje še dodatno omejili (v razdelku 2... smo storili prvi korak v tej smeri). Iz vsake zajete slike smo zato izrezal dve manjši (za vsako stran kompresorja po eno), v katerih se bistveni deli vseh cevk še vedno nahajajo z vso gotovostjo (slika 0). Slika 0: Omejitev iskalnega področja s pomočjo dveh izrezov V vseh postopkih v nadaljevanju smo tako uporabljali le oba izreza velikosti 250x230 slikovnih elementov, ki sta skupaj 2,67 krat manjša od prvotne slike s 640x480 slikovnimi elementi.

32 24 4. Algoritem za razpoznavo pozicije zvarov 4.2. Pretvorba barvnega prostora Odločitev, da bo algoritem slonel na razpoznavanju izstopajoče žive rdeče-oranžne barve bakrenih cevk, sproži sama po sebi vprašanje, kako se sploh ta konkretni odtenek izraža v digitalnem barvnem zapisu. Video kamere in prikazovalniki uporabljajo zapis, v katerem se za vsak slikovni element na sliki zapiše vrednost pripadajočih osnovnih barv: za rdečo (red - R), zeleno (green - G) in modro (blue - B), zaradi česar mu pravimo tudi RGB barvni prostor. Na žalost pa človek dojema barve na povsem drugačen način. Če dobro pogledamo cevke, lahko opazimo, da niso enako obarvane po celotni površini, saj prihaja zaradi prask, umazanije in predvsem osvetlitve do velikih odstopanj. Če drugo odmislimo, nam že sama osvetlitev povzroči, da je približno na sredini cevke odtenek zelo svetel, skoraj bel, proti robovom pa postaja vedno bolj temen, skoraj črn. Sam način opisa tega barvnega prehoda nam kaže, da se ljudje bolj sprašujemo, katero barvo vidimo, koliko je izrazita in koliko je svetla, ne pa za koliko so se spremenile posamezne osnovne barvne komponente. Zato je opis v RGB barvnem prostoru vsaj približno celotne palete barv, ki jo lahko zavzame cevka in ji mi rečemo enostavno živa rdeče-oranžna, zelo težaven in neintuitiven. Da bi se izognili tej slabosti, je bil zamišljen HSV barvni prostor, ki se skuša povsem približati človekovemu načinu dojemanja barv. Njegove tri komponente opisujejo ravno tiste barvne lastnosti, ki smo jih našteli v prejšnjem odstavku: H (hue): obsega vrednosti od 0 do 360 (v nekaterih primerih je normalizirana na območje 0-00%) in definira barvo (modro, rdečo ), S (saturation): obsega območje od 0 do 00% in opisuje intenzivnost, nasičenost barve, ali koliko sivine je dodane prevladujoči barvi, V (value): opisuje svetlost in obsega območje od 0 do 00%. V svoji prvotni in matematično najbolj pravilni obliki je HSV barvni prostor predstavljen kot cilinder (slika levo), vendar se ga zaradi človekove manjše občutljivosti na barvne odtenke pri nizki svetlosti in dejstva, da je računalniški RGB zapis kvalitativno omejen, pogosto deformira v stožec (slika desno) [7]:

33 4. Algoritem za razpoznavo pozicije zvarov 25 Slika : Ponazoritev HSV barvnega prostora s cilindrom (levo) in stožcem (desno) [7] Če je barva podana v zapisu (R,G,B), kjer lahko vrednosti R, G in B zavzamejo katerokoli vrednost med 0 in, lahko pretvorbo iz RGB v HSV barvni prostor opravimo s pomočjo naslednjih enačb, kjer pomeni MAX največjo, MIN pa najmanjšo izmed teh vrednosti: če je R = MAX če je G = MAX (2) če je B = MAX (3) V = MAX (4) Rezultat dobimo v obliki (H,S,V), kjer H določa kot v stopinjah po barvnem krogu (med 0 in 360 ), S in V pa sta v območju med 0 (za najmanjšo vrednost) in (za največjo vrednost). Opomnili bi, da MATLAB uporablja za vse tri komponente interval med 0 in, zaradi česar se bomo takega zapisa v nadaljevanju držal tudi sami.

34 26 4. Algoritem za razpoznavo pozicije zvarov Rezultat pretvorbe vzorčne slike prikazuje slika 2, kjer je vsaka izmed komponent HSV barvnega prostora prikazana kot sivinska slika (svetlejše območje pomeni večjo vrednost komponente): Slika 2: Sivinski prikaz H (levo), S (sredina) in V (desno) komponente pretvorjene slike Sliki komponent H in S sta lep primer predstavitve uporabnosti takega zapisa slike. Bakrene cevke namreč povsem izstopijo iz ozadja: H komponenta je zaradi njihove rdečkaste barve, ki je postavljena v začetno področje barvnega kroga (majhen kot na sliki ), v primerjavi z nebarvito okolico zelo nizka, medtem ko je S komponenta zaradi nasičenosti barve bakra zelo visoka. To ugotovitev smo se odločili uporabiti pri izvedbi barvnega sita v HSV barvnem prostoru HSV barvno sito Po preskušanju vrednosti vseh treh barvnih komponent HSV barvnega prostora na celotni površini vseh treh cevk na večjem številu zajetih slik smo določili naslednje intervale posameznih komponent, v območju katerih se nahaja večji del opravljenih preskušanj: H komponenta med 0 in 0,, S komponenta med 0,28 in, V komponenta med 0,7 in.

35 4. Algoritem za razpoznavo pozicije zvarov 27 Rezultat tako izbranega barvnega sita smo v spremenjeni obliki prikazali že na sliki 7 desno, zato ga na tem mestu ponavljamo v svoji izvorni, binarni (črno-beli) obliki (slika 3): Slika 3: Izhod HSV barvnega sita Barvno sito deluje v bistvu na ta način, da napravi presek treh binarnih slik. Slednje dobimo tako, da za vsako barvno komponento posebej (H, S in V) postavimo enico na mesta vseh tistih slikovnih elementov, ki pripadajo zahtevanemu intervalu posamezne barvne komponente. Presek teh slik da kot rezultat spet binarno sliko, ki ima enice na mestih vseh tistih slikovnih elementov p, ki so imeli enice v vseh treh vhodnih binarnih slikah (H, S in V) hkrati. Delovanje sita formalno zapišemo na naslednji način: H S V = { p p H p S p V } (5) Tudi HSV barvno sito ima svoje omejitve, ki se pokažejo še posebej v pogojih, ko pride do močnih odsevov kot v mojem primeru (Slika 3). Ko je namreč izvor svetlobe postavljen dovolj blizu video kamere, lahko na osi cevk opazimo močno osvetljeno področje, ki povsem izgubi svoje prvotne barvne lastnosti, zaradi česar

36 28 4. Algoritem za razpoznavo pozicije zvarov ga barvno sito ne razpozna kot del iskanega področja, čeprav to vsekakor je. Rezultat tega pojava je cevka, razdeljena glede na svojo os na dve polovici. Že v razdelku 3.. smo ugotovili, da zvar po vsej širini cevke prekine barvo bakra, o čemer se lahko na sliki 3 tudi prepričamo. To je ena bistvenih ugotovitev, na kateri bomo gradili nadaljnji algoritem. Osredotočiti se bomo skušali le na notranje bakrene dele cevk (tiste, ki so v bistvu še del kompresorja) na ta način, da jih bomo povsem ločil od drugih elementov, jih združili, če bodo ločene po osi, in jim ugotovili značilke, s pomočjo katerih bomo ugotovili pozicije zvarov. Če želimo v nadaljevanju na čim lažji in čim robustnejši način najti bakrene dele kompresorjevih delov cevk, se moramo najprej znebiti nepotrebnih, motečih elementov na izhodu barvnega sita. To so še posebej tista drobna področja na mestu zvara, ki ne predstavljajo nobene koristne informacije, utegnejo pa s svojo prisotnostjo podaljšati nadaljnje postopke. S tem namenom bomo uporabili v naslednjem razdelku opisana morfološka operatorja Morfološki operatorji Morfologija, uporabljena pri obdelavi slik, temelji na obravnavi oblike, eni od najbolj merodajnih lastnosti sveta, ki nas obdaja. Vrednost vsakega izhodnega slikovnega elementa je odvisna od primerjave med pripadajočim vhodnim slikovnim elementom in njegovo okolico, ki jo lahko oblikujemo tako, da je občutljiva na določene oblike objektov. Bistvena informacijska enota pri morfološkem pristopu je binarna slika, osnovni morfološki operaciji, ki ju predstavljamo v nadaljevanju, pa sta erozija in dilatacija Erozija V praksi nam operacija erozije odstrani od strukturnega elementa (ang. structuring element) odvisno število slikovnih elementov z roba objektov, po definiciji pa je vrednost izhodnega slikovnega elementa pri eroziji enaka najmanjši vrednosti izmed vseh slikovnih elementov v okolici pripadajočega vhodnega elementa, definirani s pomočjo strukturnega elementa. V primeru binarne slike dobimo na izhodnem

37 4. Algoritem za razpoznavo pozicije zvarov 29 slikovnem elementu ničlo, če je katerikoli izmed okoliških slikovnih elemetov enak nič (slika 4): Slika 4: Erozija binarne slike [8] Da bi odstranili prej omenjene osamljene, večinoma podolgovate drobce na mestu zvara, ki so na levi cevki orientirani blago poševno, na desnih pa skoraj vodoravno, smo se odločili uporabiti strukturni element oblike: SE Erode = (6) Širše oblikovan strukturni element namreč bolj erodira (razjeda) v vodoravni smeri razpotegnjene oblike. Na sliki 5 vidimo, da je odstranitev velike večine motečih drobcev z uporabo erozije uspela, vendar je hkrati prišlo tudi do nezaželenega stanjšanja (ali celo razdelitve) bistvenih objektov, kar bomo skušali popraviti s pomočjo v naslednjem razdelku opisanega morfološkega operatorja Dilatacija Dilatacijo smo uporabili z namenom, da bi po eroziji preostale objekte povrnili v prvotno stanje in jih celo malenkost povečali, da bi se v slučaju, če bi med njimi bila zelo majhna razdalja, združili med sabo.

38 30 4. Algoritem za razpoznavo pozicije zvarov Slika 5: Rezultat uporabe erozije: odstranitev drobnih, osamljenih delcev in stanjšanje preostalih objektov V praksi nam operacija dilatacije doda od strukturnega elementa odvisno število slikovnih elementov k robovom objektov, po definiciji pa je vrednost izhodnega slikovnega elementa pri dilataciji enaka največji vrednosti izmed vseh slikovnih elementov v okolici pripadajočega vhodnega elementa, definirani s pomočjo strukturnega elementa. V primeru binarne slike dobimo na izhodnem slikovnem elementu enico, če je katerikoli izmed okoliških slikovnih elemetov enak ena (slika 6): Slika 6: Dilatacija binarne slike [8]

39 4. Algoritem za razpoznavo pozicije zvarov 3 Zaporedni uporabi najprej erozije in zatem dilatacije z istim strukturnim elementom pravimo morfološko odpiranje (ang. morphological opening), njegova značilnost pa je izbris majhnih objektov s slike brez spreminjanja večjih. Zaradi želje, da bi prihajalo do združitev povsem blizu postavljenih objektov, smo v nasprotju z morfološkim odpiranjem pri dilataciji uporabili spremenjen strukturni element: v vsako dimenzijo smo ga povečali za dva slikovna elementa: SE Dilate = (7) Učinkovitost dilatacije je lepo vidna na sliki 7 objekti so odebeljeni in na mestu, kjer je bil stik med elementoma komaj opazen, je sedaj močna vez. Slika 7: Rezultat uporabe dilatacije: odebelitev elementov in ojačitev šibkih vezi Na tej stopnji so objekti na slikovnih posnetkih dovolj obdelani, da jih lahko pričnemo označevati - tako bomo v nadaljevanju lahko ravnali z njimi kot z objekti v pravem pomenu besede.

40 32 4. Algoritem za razpoznavo pozicije zvarov 4.5. Označevanje povezanih komponent Med pogosteje uporabljene postopke na področju računalniškega vida zagotovo spada iskanje povezanih komponent na sliki. Za točke, ki spadajo povezani komponenti, obstoja namreč verjetnost, da predstavljajo enega od iskanih objektov. Pred nadaljnjo razlago vpeljimo naslednje definicije [9, stran 40-43]: 4-sosednost: če si sliko predstavljamo kot pravokotno mrežo slikovnih elementov, pravimo, da sta dva slikovna elementa 4-sosedna, če imata skupno stranico (slika 8). 8-sosednost: če si sliko predstavljamo kot pravokotno mrežo slikovnih elementov, pravimo, da sta dva slikovna elementa 8-sosedna, če imata vsaj stikajoč oglišči (slika 8): Slika 8: Z modro označeni 4-sosedni (levo) in 8-sosedni (desno) slikovni elementi elementa [i,j] pot: pot med izbranim začetnim in končnim slikovnim elementom je tako zaporedje slikovnih elementov, da sta si vsaka dva zaporedna slikovna elementa sosedna. Pri uporabi 4-sosednosti gre za 4-pot, pri 8-sosednosti pa za 8-pot (slika 9). povezanost: za slikovni element p S pravimo, da je povezan s slikovnim elementom q S, če obstoja pot od p do q, sestavljena izključno iz slikovnih elementov, ki pripadajo S. povezana komponenta: skupek slikovnih elementov, v katerem je vsak slikovni element povezan z vsemi ostalimi slikovnimi elementi.

41 4. Algoritem za razpoznavo pozicije zvarov 33 Slika 9: 4-pot (levo) in 8-pot (desno) Rezultat postopka označevanja povezanih komponent je slika, ki je po velikosti enaka vhodni binarni. Slikovnim elementom, ki pripadajo določeni povezani komponenti, je prirejena enotna številska vrednost, ki se med posameznimi povezanimi komponentami razlikuje (slika 20): Slika 20: Binarna slika (levo) in zapis njenih povezanih komponent (desno) Poznamo dva postopka označevanja povezanih komponent: rekurzivnega, ki se ga uporablja predvsem na vzporednih računalnikih, ker je na običajnih povsem neučinkovit, in splošno uporabljanega sekvenčnega, katerega delovanje lahko strnemo v sledeče sosledje nalog (opis velja za 4-sosedno povezanost) [9, stran 47]:. Preišči sliko z leve proti desni in z vrha navzdol.

42 34 4. Algoritem za razpoznavo pozicije zvarov 2. Če je slikovni element, potem: a) Če ima le eden od sosedov (zgornji ali levi) že označbo, jo kopiraj. b) Če imata oba soseda isto označbo, jo kopiraj. c) Če imata oba soseda različni označbi, potem kopiraj označbo zgornjega in vstavi označbi kot enakovredni v tabelo enakovrednih označb. d) Drugače slikovnemu elementu priredi novo označbo in jo vstavi v tabelo enakovrednih označb. 3. Če obstojajo slikovni elementi brez oznake, pojdi na drugo točko. 4. Najdi najmanjšo številsko označbo za vsako enakovredno skupino v tabeli enakovrednih označb. 5. Zamenjaj vsako označbo na sliki z najmanjšo številsko enakovredno. Rezultat uporabe sekvenčnega 8-sosednega postopka iskanja povezanih komponent prikazuje slika 2 na način, da je vsaka posamezna povezana komponenta obarvana s svojo barvo. Upoštevajoč dejstvo, da je vmesni cilj najti celotni bakreni del kompresorjevih delov cevk, prihaja pri označevanju do dveh različnih možnosti:. Ko je bakreni del kompresorjevega dela cevke predstavljen z eno samo povezano komponento (slika 2 levo). Slika 2: Rezultat sekvenčnega 8-sosednega postopka iskanja povezanih komponent: primer kompresorjevega dela cevke, predstavljenega z eno (levo) in dvema (desno) povezanima komponentama

43 4. Algoritem za razpoznavo pozicije zvarov Ko je bakreni del kompresorjevega dela cevke vzdolž osi razdeljen na dva povsem ločena dela, zaradi česar je predstavljen z dvema povezanima komponentama (slika 2 desno). V drugem primeru je potrebno povezana elementa, ki pripadajo istemu kompresorjevemu delu cevke, združiti oziroma označiti kot enega. To potrebujemo pri nadaljnjem izračunu merodajnih značilnosti (značilk) cevk, s katerimi bomo ugotovili točno pozicijo zvarov Izračun značilk povezanih komponent Pri združevanju dveh povezanih komponent ni težava v samem združevanju, ampak v tem, kaj sploh združiti. Iz postopka združevanja je potrebno namreč izločiti poleg na sliki vedno prisotnih komponent zunanjih delov cevk (tiste, ki so za zvarom, gledano od kompresorja), tudi morebitne manjše delce, ki jih erozija ne bi dokončno izbrisala. Zaradi tega je potrebno vsem na sliki prisotnim povezanim komponentam izračunati tiste značilke, ki nam bodo prišle prav pri odločanju, katere izmed povezanih komponent bomo združili. Izbrali smo naslednje tri: površino: je seštevek vseh osvetljenih slikovnih elementov, ki pripadajo obravnavani povezani komponenti [9, stran 3]: A = n m i= j= [, j] B i (8) površinsko središče: če upoštevamo svetlost slikovnega elementa kot maso, je enako masnemu središču. Izpeljava je sledeča [9, stran 32]: x y n i= j= n m m i= j= n [, j] = jb[ i, j] B i i= j= n m m [, j] = ib[ i, j] B i i= j= (9)

44 36 4. Algoritem za razpoznavo pozicije zvarov kjer pomenita x in y koordinati masnega središča. Pozicija povezane komponente je dana z: x y = = n i= j= n m m i= j= A ib i A jb i [, j] [, j] (0) orientacijo: da jo je sploh mogoče izračunati, mora biti povezana komponenta razpotegnjena. V takem primeru pomeni orientacija naklon Θ glavne osi komponente (slika 22), to je osi najmanjšega drugega momenta, kar je v ravnini enako osi najmanjše vztrajnosti [9, stran 34-35]: sin 2Θ = ± cos 2Θ = ± b b + ( a c) a c b + ( a c) 2 2 () pri čemer so koeficienti a, b in c definirani kot: n a = b = 2 c = i= j= n n m i= j= m i= j= ( x ) m ij x y B i ij ( y ) ij 2 2 ij [, j] B i [, j] [, j] B i (2)

45 4. Algoritem za razpoznavo pozicije zvarov 37 medtem ko sta x ij in y ij definirana kot: x ij y ij = = x y ij ij x y (3) pri čemer sta x in y koordinati masnega središča povezane komponente. Slika 22: Polarni zapis osi najmanjšega drugega momenta povezane komponente 4.7. Združevanje povezanih komponent Po izračunu značilk povezanih komponent na večjem številu slikovnih posnetkov smo lahko ugotovili meje intervalov, v katerih se posamezne značilke ali njihova razmerja nahajajo, če pripadajo povezani komponenti istemu bakrenemu delu kompresorjeve cevke: Površina komponente mora biti manjša od 300 slikovnih elementov. X koordinati površinskih središč smeta biti postavljeni največ 0 slikovnih elementov narazen.

46 38 4. Algoritem za razpoznavo pozicije zvarov Y koordinati površinskih središč smeta biti postavljeni največ 5 slikovnih elementov narazen. Orientaciji primerjanih komponent se ne smeta razlikovati za več kot 0. Enkrat, ko so bili intervali določeni, smo s pomočjo vsakega izmed njih implementirali podsito za pripadajočo lastnost. Da pa bi združevali le povezane komponente, ki zadoščajo vsem pogojem hkrati, smo med podsiti izvršili logično operacijo konjunkcije, s čemer smo dobili končno sito. Pred njegovo uporabo smo morali določiti še vse možne pare povezanih komponent na sliki, ker vsa podsita razen površinskega temeljijo na primerjavi značilk. Če imamo na sliki n povezanih komponent, ki jih želimo dati v pare, v katerih nas ne zanima zaporedje komponent, moramo najprej ugotoviti kolikšno je sploh število vseh možnih takih parov, ugotoviti moramo torej število kombinacij n elementov drugega razreda (k=2) brez ponavljanja [0]: n( n )( n 2)...( n k + ) = k C n, k! n = k (4) nakar se lahko lotimo združevanja. Vse na ta način določene pare smo presejali s končnim sitom, ki je kot rezultat združil (določil isto vrednost v tabeli enakovrednih označb) le tiste povezane komponente, ki ustrezajo postavljenim intervalom (slika 23). Slika 23: Združitev povezanih komponent, ki pripadajo istemu kompresorjevemu delu cevke (vsaka barva predstavlja določen objekt)

47 4. Algoritem za razpoznavo pozicije zvarov 39 Od te stopnje naprej naj bi (še vedno lahko pride do odstopanj) vse povezane komponente z določeno vrednostjo v tabeli enakovrednih označb predstavljale funkcionalno ločljive objekte (bakreni del kompresorjeve cevke, zunanji del cevke), zaradi česar jih bomo v nadaljevanju imenovali objekti Določitev pozicije zvarov Ker je prišlo ob združitvi povezanih komponent v objekte do sprememb značilk, je potrebno le-te pred vsakršnim nadaljevanjem ponovno izračunati po postopku, opisanem v razdelku 4.6. Da bi končno ugotovili, kateri izmed objektov predstavljajo bakrene dele kompresorjevih cevk, smo se odločili nadaljevati z implementacijo ustreznega sita in kasnejšim prilagojenim postopkom iskanja. Ponovno smo sestavili konjunktivno sito, tokrat glede na sledeče intervale značilk: Površina komponente mora biti večja od 300 slikovnih elementov. Na levi sliki mora biti ostri kot med vodoravnico in glavno osjo objekta med 20 in 60. Na desni sliki mora biti ostri kot med vodoravnico in glavno osjo objekta med 0 in 30. Za objekte, ki jih sito prepusti, obstoja velika verjetnost, da predstavljajo bakrene dele kompresorjevih cevk, vendar smo se iz previdnosti odločili uporabiti tudi iskalni postopek, ki med iskanjem v smeri iz notranjega proti zunanjemu delu slike (od kompresorja stran) izbere le toliko objektov, kolikor mu jih pred začetkom izvajanja programa določimo. Tako smo vgradili možnost ugotavljanja napak pri razpoznavi, če se število kandidatov razlikuje od vnaprej določenega števila zvarov, in možnost razpoznavanja pozicije zvarov na različnih modelih kompresorjev z različnim številom cevk, ki ga lahko enostavno določimo preko črtne kode, ki je prisotna na vsakem izmed kompresorjev. Na ta način smo prišeli do objektov, ki v naslednji fazi predstavljajo izhodišče za iskanje zvarov, poleg tega ena od njihovih novo izračunanih značilk že predstavlja rešitev v uvodu postavljene zahteve o določitvi ravninskega naklona osi cevke, na

48 40 4. Algoritem za razpoznavo pozicije zvarov kateri je zvar, saj nam orientacija objekta na bakrenem delu kompresorjeve cevke opisuje ravno to lastnost. Ob natančnem pogledu na dosedanje rezultate in na dejanske pozicije zvarov smo se odločili, da bomo do slednjih poskušali priti s pomočjo orientacije bakrenih delov kompresorjevih cevk. Zamislili smo si postopek (slika 24), v katerem bi najprej določili pravokotnico na glavno os cevke: k = tan( Θ 90 ) k Ortho = k (5) kjer je k smerni koeficient glavne osi objekta, k Ortho pa pravokotnice nanjo in jo premikali po osi od površinskega središča objekta na bakrenem delu kompresorjeve cevke navzven (gledano glede na kompresor) proti zvaru, dokler ne bi dosegli prve točke, v kateri ne bi z nobenim slikovnim elementom prekrivala objekta na cevki. Slika 24: Končni postopek ugotavljanja pozicije zvarov

49 4. Algoritem za razpoznavo pozicije zvarov 4 Ker bi s tem določili pozicijo robnega dela zvara, smo se odločili, da dobljeni poziciji dodamo še 3 slikovne elemente v smeri proti zvaru, kar je povsem upravičeno, če upoštevamo že v razdelku 3.. ugotovljeno fiksno razdaljo bakrenega dela kompresorjevih cevk, ne glede na globinsko postavitev cevk. Do dodatka treh slikovnih elementov smo prišli po preskusu na večjem številu slikovnih posnetkov, ko smo ugotovili, da se s tako izbrano vrednostjo povsem približamo središču vsakega zvara na sliki. Zahtevo o točnosti najmanj petih milimetrov smo tako povsem izpolnili. Končni rezultat celotnega algoritma prikazuje slika 25, na kateri so označeni najdeni zvari na obeh straneh kompresorja. Prikazane so tudi izračunane glavne osi cevk, na katerih se zvari nahajajo, skupaj s koordinatami posameznih zvarov. Slika 25: Končni prikaz Za izračun in prikaz takšne slike potrebuje osebni računalnik s procesorjem Intel Celeron takta 2,42 GHz in 52 MB RAM-a v okolju MATLAB okoli 20 sekund.

50

51 5. Sklepne ugotovitve Sklepne ugotovitve Ocenjujemo, da smo prvi korak k popolni avtomatizaciji nadzora kakovosti kompresorskih zvarov v industriji bele tehnike uspešno opravili, saj opisani algoritem ugotavljanja pozicije zvarov iz slikovnih posnetkov deluje robustno in točno. Kljub naključnosti zajemalne perspektive, ki jo vnaša nepritrjena video kamera, se razpoznane pozicije zvarov v večini primerov ujemajo z dejanskimi središči zvarov (kolikor jih lahko s prostim očesom določimo), vsekakor pa se vedno nahajajo na njihovih dejanskih območjih. Edino težavo predstavlja hitrost izvrševanja algoritma, ki je zaradi uporabe MATLAB-ovega okolja nizka. Enostavno rešitev predstavlja prevedba algoritma preko višjega programskega jezika v hitro delujočo izvršilno obliko, kar s pomočjo na spletu prosto dostopnih knjižnic ne bi smelo predstavljati večjega problema. Na žalost v diplomskem delu iz povsem praktičnih razlogov ni bilo mogoče uporabiti večjega števila hladilno-zamrzovalnih naprav, s čemer bi lahko preskusili, ali je algoritem sposoben tudi razpoznave drugih vzorcev. Ugotavljanje zanesljivosti, ki je ena ključnih zahtevanih lastnosti, torej ostaja še odprto vprašanje. Ob morebitni kasnejši ugotovitvi, da predlagani postopek ne zadošča zahtevani zanesljivosti, bi opazno izboljšanje v tej smeri bilo mogoče doseči z uporabo izvora razpršene svetlobe, ki bi zmanjšala površino območja neposrednega odseva od cevk in s tem povečala površino objektov, ki predstavljajo bakrene dele kompresorjevih cevk. S opisanim postopkom razpoznave pozicije zvarov iz digitalnih slikovnih posnetkov se odpira možnost nadaljnjega razvoja celotnega raziskovalnega projekta, še posebej njegovega naslednjega podsklopa, določitve prostorske pozicije zvarov.

52

53 Viri 45 Viri marec marec marec N. Pavešić, Razpoznavanje vzorcev, uvod v analizo in razumevanje vidnih in slušnih signalov, Založba FE in FRI, Ljubljana, C. Demant, B. Streicher-Abel, P. Waszkewitz, Industrial image processing, visual quality control in manufacturing, Springer-Verlag Berlin Heidelberg, marec marec marec R. Jain, R. Kasturi, B.G. Schunck, Machine vision, McGraw-Hill, Inc., marec 2004