Microsoft Word - heli visualiseerija vaegkuuljatele doc

Väljavõte

1 EESTI INFOTEHNOLOOGIA KOLLEDŽ Janika Liiv HELI VISUALISEERIJA VAEGKUULJATELE Diplomitöö INFOTEHNOLOOGIA SÜSTEEMIDE ARENDAMISE ÕPPEKAVA Juhendaja: Margus Ernits Tallinn 2007

2 AUTORIDEKLARATSIOON Deklareerin, et käesolev diplomitöö, mis on minu iseseisva töö tulemus, on esitatud Eesti Infotehnoloogia Kolledžile lõpudiplomi taotlemiseks Infosüsteemide arendamise erialal. Diplomitöö alusel ei ole varem eriala lõpudiplomit taotletud. Autor J.Liiv. (allkiri ja kuupäev) Töö vastab kehtivatele nõuetele Juhendaja M. Ernits (allkiri ja kuupäev) 2

3 Sisukord Lühendid ja mõisted Sissejuhatus Analüüs Kasutatava arvutisüsteemi valik Operatsioonisüsteemi valik Tarkvara Heliteekide esmane analüüs Aglaophone ATSH CLAM ComParser FlowDesigner HASAS Mustajuuri SonicVisualiser Heliteekide detailse analüüsi kokkuvõte Valitud programmi CLAM tutvustus Teostus Linuxi installeerimine arendusarvutisse CLAM i installeerimine Linuxis Rakenduse loomine CLAM i abil DBE61 seadistamine Linuxi installeerimine DBE61 jaoks Alglaadimise korraldamine DBE61-s Analüüs prototüübi edasiseks arendamiseks Kokkuvõte Sound visualizer for hearing impaired...46 Kasutatud kirjandus...48 Lisa 1 Näidisprogrammi kasutajaliides XML i kujul

4 Lühendid ja mõisted Tähis Tähendus AC97 Audio Codec 97; helisüsteemi spetsifikatsioon IBM PC arvutile, mille töötasid 1996.a. välja Intel, Analog Devices, Creative Labs jt. firmad. AIFF Audio Interchange File Format; helifaili formaadi standard, mida üldiselt kasutatakse Apple Macintosh arvutisüsteemides. ALSA Advanced Linux Sound Architecture; Linuxi kerneli komponent, mis varustab helikaarti seadmete draiveritega. API Application Programming Interface; rakendusliides, rakendustarkvara liides; tarkvara rakendamise protokollide, reeglite ja vahendite kogum. Lihtsustab programmeerijate tööd, sest võimaldab sisestada arvutiprogrammidesse eelnevalt valmis tehtud tarkvara. ATS Analysis Transformation - Synthesis; heli spektri analüüsimiseks, signaali muundamiseks ja sünteesimiseks mõeldud tarkvarateek. Bluetooth Sinihammas; mobiil-telekommunikatsiooni spetsifikatsioon. Bluetooth töötab kuni 10m raadiuses (klass 2), kirjeldab mobiiltelefoni, sülearvuti ja elektronmämiku (PDA) andmevahetust. CRT Cathode Ray Tube; elektronkiire toru, elektronkiirtel põhinev kuvar. DirectX Rakendusliideste raamistik firmalt Microsoft, mis võimaldab programmeerijal kasutada sisend/väljund ja multimeedia seadmeid. 4

5 DDRAM Double Data rate Random Access Memory; topeltkiirusega dünaamiline muutmälu. EKA Eesti Kunstiakadeemia EPP/ECP Enhanced Parallel Port/Enhanced Capability Port; laiendatud rööpport/printeri port; rööpport võimaldab arvuti ja välisseadmete vahel kiiret kahesuunalist andmevahetust. Ethernet Kohtvõrgu standard, mis on praeguseks saanud üldkehtivaks standardiks. FFTW Fastest Fourier Transform in the West; diskreetsete Fourier teisenduste arvutamiseks mõeledud tarkvarateek. GPIO General Purpose Input/Output; sardsüsteemides kasutatavad üldotstarberlised sisend/väljund pordid. GPL General Public License; üldine avalik litsents; FSF (Free Software Foundation'i) tarkvara ja GNU projekti litsents, mis garanteerib kasutajatele vabaduse seda tarkvara levitada ja modifitseerida. GTK The Gimp Toolkit; populaarne töövahendite komplekt kasutajaliideste loomiseks. IrDA Infrared Data Association; Infrapuna-andmete Assotsiatsioon, mille ülesandeks on välja töötada infrapuna-andmesideliidestele vajalikku riist- ja tarkvarastandardeid; infrapuna andmesideliides. I²S Integrated Interchip Sound; digitaalsete audioseadmete jadaühenduse standard. I²C Inter-Integrated Circuit; jadaühendus, mille kaudu ühendatakse väikese kiirusega väliseadmeid emaplaadi, sardsüsteemi või mobiiltelefoniga. JPG Värviliste ja hallskaalakujutiste tihendamise ja salvestuse standardmeetod; kokkupakitud värvigraafikafailide formaat JTAG Joint Test Action Group; piirskaneerimise- ehk JTAG-liides kujutab endast kiibile lisatavat spetsiaalset nelja viiguga liidest (andmed sisse, andmed välja, TCK, TMS). KDE K Desktop Environment; K töölaua keskkond. 5

6 LCD Libsndfile Mažoorne akord MATLAB Minoorne akord MP3 OGG Ostsillograaf Pistikkomponent PCMCIA / CF seade PortAudio Ramdisk Qt Designer Sardsüsteem SBC SDIF SDRAM vedelkristall-; kuvari tüüp, mis põhineb vedelkristallide asendi ning valgusomaduste muutmisel elektrivälja toimel. Laialdaselt kasutatud programmeerimiskeele C teek helifailide lugemiseks ja kirjutamiseks. Mitme eri kõrgusega heli kooskõla, mille kõrgusastmiku alumisest helist lähtuvad valdavalt suured heli kõrguste vahed; rõõmsameelne helide kooskõla. Arvutuskeskkond ja programmeerimiskeel. Mitme eri kõrgusega heli kooskõla, mille kõrgusastmiku alumisest helist lähtuvad valdavalt väikesed heli kõrguste vahed; nukrakõlaline helide kooskõla; MPEG audiokiht 3; Digitaalsete helifailide tihendamise algoritm. Patendivaba multimeedia standard. Seade signaali amplituudi muutumiskõvera jälgimiseks. inglise k. plugin; peremeesrakendusega suhtlev programm, mis täidab spetsiifilist ülesannet. PCMCIA (Personal Computer Memory Card International Association) ja CF (CompactFlash) kaardi kasutamise seade. Platvormist sõltumatu teekide kogum helitarkvara jaoks. Virtuaalne ketas, mis luuakse arvuti muutmällu. Graafiliste kasutajaliideste loomise keskkond. Arvutisüsteem muu süsteemi (tööpink, auto, lennuk, rong, kosmoseaparaat, digikaamera, mobiiltelefon, elektronmärkmik, pihuarvuti, robot, maksekaardisüsteem jne jne) lahutamatu funktsionaalse osana, mitte iseseisva arvutina. vt. Single Board Computers Sound Description Interchange Format; failiformaat heli kirjeldava info vahetamiseks erinevate programmide vahel. Synchronous Dynamic Random Access Memory; arvuti mälu liik; erinevalt DRAM-ist, mis reageerib sisenditele nii kiiresti kui võimalik, ootab SDRAM ära taimeri signaali ning on seega sünkroniseeritud arvutisüsteemi siinide ja protsessoriga. 6

7 Single Board Computer Ühe plaadi arvuti; ühele mikroskeemiplaadile ehitatud täielik arvuti protsessori, sisend- ning väljundportide ja muu vajalikuga, et olla funktsionaalne arvuti. SND Apple Macintoshi helifaili formaat. Spektrogramm Helisignaali koostisosade visualiseering, kus vertikaalteljel on sagedus ja horisontaalteljel aeg; UART Universal Asynchronous Receiver/Transmitter; universaalne asünkroontransfer/asünkroontransiiver; programmeeritud mikrokiip, mis juhib arvutit ja välisseadmeid ühendavat järjestikliikdest. Unionfs Linuxi failisüsteemi teenus, mis moodustab erinevatest failisüsteemidest ühtse virtuaalse failisüsteemi. USB Universaalne järjestiksiin; Standard IEEE Universaalne järjestikport. Tagab andmevahetuse ja toite. Võimaldab ühendada välisseadmeid ka töötava arvutiga. Vaegkuulja Kuulmise osaliselt või täielikult kaotanud inimene ehk kuulmisvaegusega inimene. VGA Video Graphics Array; videograafika maatriks; kuvastandard eraldusvõimega 640x400 ja 256 värvust. VGA maksimaalne lahutusvõime sõltub kuvatavate värvide arvust. WAV Helifaili formaat. XML Extensible Markup Language; laiendatav märgistuskeel; XML on lihtsustatud versioon SGML'ist. Kasutatakse erinevates süsteemidevaheliseks andmevahetuseks. 7

8 1. Sissejuhatus Antud lõputöö teema on pärit Eesti Infothenoloogia Kolledži ja Eesti Kunstiakadeemia koostööprojektist, mille eesmärgiks on arendada kahe kõrgkooli tudengite vahelist ühistegevust ning näidata, kuidas võib kahte erinevat valdkonda omavahel siduda. Ühistöö saab alguse kunstiakadeemia tootedisaini eriala tundegite väljapakutud ideedest, millede tehnilise lahenduse võimalikkusest infotehnoloogia kolledži õpilased oma hinnangu annavad. võimaluse korral üritatakse neid tehnilisi lahendusi ka teostada. Projekti kaugemaks eesmärgiks on võetud kahte kooli ühendava õppekava võimalikkuse uurimine. Vaegkuuljatele suunatud heli visualiseerija idee sündis, kui Eesti Kunstiakadeemia tootedisaini eriala tudengid käisid koolitöö raames jälgimas Tallinna Heleni Koolis kuulmisvaegusega gümnasiste. Eesmärgiks oli leida valupunktid nende noorte igapäevaelus ning disainida tooteid, mis võiksid kuulmisvaegusega nii kuulmisvõime osaliselt kui ka täielikult kaotanud inimeste elu parandada. EKA tudengid viibisid Heleni kooli õpilaste tundides ja suhtlesid noortega vabal ajal. Kuulmisvaegustega noortele jagati kätte ka päevikud, mida nad pidid nädala jooksul täitma ning milles olevatele küsimustele kirjutatud vastused andsid parema ülevaate kuulmispuuetega noorte igapäevaelust, mõtetest ning hobidest. Kooli külastuste, vestluste ja päevikute põhjal leidsid uurimust sooritanud tootedisaini eriala tudengid, et kuulmisvaegusega noored ei pea ennast teistest noortest erinevateks. Ümbritsetuna omasugustest ei tunne nad, et jäävad millestki ilma, või et nad oleksid kuidagi moodi teistsugused. Vaatlemisel osutus nõrgemaks kohaks kuuljate ja kuulmisvaegustega inimeste maailmade kokkupuutepunkt. 8

9 Kuulmispuuetega inimesed võivad oma tegevusega tekitada kõva heli, saamata aru, et see on lähedal viibivatele normaalse kuulmisega inimestele ebameeldiv. Näiteks tundi alustades tekitasid nad toole ja laudu liigutades tunduvalt kõvemat lärmi kui tavakoolis. Antud probleemile lahendust otsides tuli EKA üliõpilane Anna-Maria Einla välja ideega disainida toode, mis annaks kuulmisvaegusega inimesele märku müratasemest, mida ta oma askeldamisega tekitab. Kujunduse poole pealt on tegemist erimaterjalist seinamustriga, mis reageerib helitugevusele. Vastavalt sellele, kui tugevat heli ruumis tekitatakse, kuvatakse seinale mingi muster või pilt, mida nähes saab kurt aru, kui tugev on ruumis tekkinud heli siit sai Einla ka oma ideele nime Seinad kuulevad. Kuna tegemist on tootega, mis peaks aitama kuuljate ja vaegkuuljate vahelist suhtlemist hõlbustada ning on mõeldud paigaldamiseks ruumidesse, mida kasutavad mõlemad osapooled, siis võiks seinamuster peale helitugevuse anda märku ka selle kohta, kui kuulmisvaegusega isikuga üritatakse suhtlemist alustada. Näiteks peaks antud abivahendiga olema võimalik eristada, kas keegi helistab uksekella või heliseb ruumis telefon. Samuti võiks olla arusaadav, kui keegi ruumis räägib või kuulmispuudega inimest kõnetab nii võib seinamustrilt märku saanud isik suunata oma tähelepanu ruumi ja sealt tema poole pöördunut otsida, et siis vaegkuuljana kuulmisaparaadi tööle panna või kuulmise täielikult kaotanud inimesena huulilt lugemiseks silmsidet saavutada. Teisisõnu - inimene peaks olema võimeline kuvatud kujutiste järgi eristama ka heliallikaid. Antud diplomitöö käigus üritatakse leida võimalik tehniline lahendus tootele, mis visualiseeriks heli. Kuna tootes kasutatava seinamustri materjal on alles väljatöötamisel, siis kuvatakse prototüübis väljund ekraanile või seinale. Lahenduse väljatöötamisel tuleb pöörata tähelepanu eelnevas arutluskäigus välja tulnud probleemidele: Vaegkuulja ei saa aru, kui kõva heli ta ise tekitab; Vaegkuulja ei suuda ilma tehniliste abivahenditeta tuvastada heliallikat; Vaegkuulja ei suuda tuvastada, kui keegi üritab temaga suhelda. 9

10 2. Analüüs Üks lihtsamaid lahendusi heli visualiseerija realiseerimiseks oleks kasutada vaid helitugevust kujutavat rakendust, mida kasutatakse näiteks helifaile mängivates programmides või muusikakeskuste elektroonilistel paneelidel. Nagu eelnevalt mainitud, saaks vaegkuulja sellisel juhul teda ümbritsevas ruumis tekkinud helide kohta vaid ühekülgset infot - amplituudväärtust, mille abil ta suudab otsustada, kas kuuljatele tekitab müratase ebameeldivust või mitte, kuid ei anna rohkem infot, mis aitaks heliallikat tuvastada. Sellise ühekülgse rakenduse loomisel on miinuseks ka ebamugavus lisafunktsioonide juurdeliitmisel. Arendatavale süsteemile võiks saada lisada raadioside teel signaale edastavad lüliteid. Antud lülitid on seotud kindlate heliallikatega eluruumides - uksekellaga seotud lüliti, mis nupule vajutamisel edastab signaali heli visualiseerijale ning tootele kuvatakse märge, mida nähes vaegkuulja teab, et tegemist on just uksekellaga, või puuteandurid ustel, mis annavad märku uste sulgemisest või avamisest. Seega peab olema arendatav rakendus rohkemate võimaluste kui lihtsalt heli tugevuse näitamine. Samas tekib küsimus, milleks rakendada erinevaid sisendeid ja lisaseadmeid. Miks ei võiks süsteem ise analüüsida kõikvõimalikke helisid ja otsustada, millega on tegemist ning vastavalt teostatud analüüsile kuvada näiteks heliallika pildi nagu allikas [11] kirjeldatud helituvastussüsteem? Selline lahendus peaks peale keskkonda paigaldamist olema võimeline ise õppima tundma helisid, mis tema ümber tekivad. Kasutajal võiks olla võimalus seadistada toode õpperežiimile. Antud režiimis süsteemile peab kasutaja kordama mingit tegevust, mille tulemusel tekib heli - näiteks panema mobiiltelefon helisema või sulgema ust, et süsteem saaks selle oma andmebaasi salvestada. Peale heli 10

11 talletamise protseduuri valib kasutaja pildi, mida kuvatakse, kui süsteem antud heli ära tunneb. Sellise lahenduse väljatöötamine ning treenimine on aga tülikas ning ajakulukas. Samuti võib selline süsteem alt vedada, suutmata sarnaseid helisid üksteisest eristada. Ukse sulgumisel ei teki alati täpselt samasugune heli inimene võib selle kiiresti ja tugevalt kinni tõmmates tekitades kõva müra, kuid ust on võimalik sulgeda ka vaikselt. Süsteemi püütud helisignaalid erinevad teineteisest drastiliselt ning ei pruugi anda oodatud tulemust. Süsteemist erinevalt suudaks aga inimene oma otsustusvõimet kasutades leida heliallika. Inimene on võimeline tundma õppima teda ümbritsevat keskkonda ning sellega kohanema masinatest kiiremini. Otsustusvõimet ja kogemusi kasutades suudab inimmõistus sündmusi omavahel seostada. Seda silmas pidades astetaksegi antud projektis helisignaalist saadud kujutise info tõlgendamise raskus inimese enda õlgadele. Süsteem püüab mikrofoniga helisignaale ning vastavalt saadud sisendile annab väljundiks ekraanile kindla kujundi või värvivarjundi, mis on seotud helisignaali sageduse ning tugevusega ajas. Ühes eluruumis igapäevaste toimetuste käigus tekkivad helid korduvad. Näiteks köögis võivad igapäevasteks olla külmkapiukse ning teiste köögikappide sulgemisel, ventilaatori töötamisel, toidu praadimisel tekkivad helid. Igal loetletud helisignaalil on ajas teistest eristatav sageduse, amplituudi ja rütmi kombinatsioon. Tootele võiks süsteem kuvada vastavalt heli sageduse vahemikule kindla kujundi ning helitugevuse põhjal sellele kindla värvivarjundi (joonis 1). Näiteks inimese kõne sageduse vahemikku jäävad helid kuvatakse ristkülikuna. Kui kõnespektrisse jääv heli on väga vaikne on ristkülik roheline ning kui antud heli on vali, muutub ristkülik punaseks. Töötavat heli visualiseerijat aja jooksul jälgiv inimene on võimeline helist tekkivaid kujundeid/värvivarjundeid/spektreid aja jooksul tundma õppima ja sündmustega seostama. Kui süsteem kuvab kasutajale jällegi tundmatu kujundite kombinatsiooni, siis annab see märku mingist tavatust sündmusest, mis inimese tähelepanuvõimet ärgitab ning ümbrust hoolikamalt jälgima innustab. Tähtsamate signaalide eristamiseks võib kasutusele võtta ka sisendeid, mis ei sõltu helist. Näiteks allika [20] andmetel pakutakse vaegkuuljatele erinevaid kaasaskantavaid ja paigaldatavaid tooteid, mis annavad valgussignaalidega märku erinevatest alarmidest - 11

12 uksekellast, suitsualarmist, telefonihelinast, piiparist, ahju taimerist jne. Tegemist ei ole helitöötlust kasutavate lahendustega, signaal edastatakse kas juhtme teel või traadita sidet kasutades. Samamoodi võib kasutada ka antud lahenduses raadioside, bluetooth tehnoloogia või mõne kolmanda võimalusega edastada süsteemile signaale, mille puhul on oluline, et need inimesele üheselt mõistetavad oleks. Nendele kindlatele sisenditele vastavalt kuvatakse heli visualiseerijas helisignaalist saadud kujutise kõrvale või selle asemele kindlad pildid või kujundid (joonis 1). Joonis 1: Heli visualiseerija süsteemi toimimise kavand Eelnevat arutluskäiku kokku võttes ei tohi arendatav süsteem piirduda vaid heli tugevuse indikaatori funktsiooniga, mis aitaks normaalse kuulmisega inimestega koos elaval kuulmisvaegusega inimesel paremini teistega arvestada ja oma igapäeva toimetusi tehes vähem müra tekitada. Heli visualiseerija peaks olema abiliseks ka siis, kui vaegkuulja arvab end ruumis üksi olevat nähes tootel helisignaalist tekkinud kujutist teab ta otsida ruumist teisi inimesi või midagi, mis heli tekitas. Samas peab olema võimalus ühendada süsteemiga signaliseerivaid komponente, millest peab olema võimalik üheselt arusaada. Üksi kodus viibiv kuulmispuudega inimene peab aru saama, kui hakkab tööle suitsuandur või valvesignalisatsioon. Sarnaselt neile häirealarmidele võib liita heli visualiseerijaga uksekella, ahju taimerit, mobiiltelefoni ja teisi vahendeid. 12

13 Heli visualiseerija: Kuvab ruumis tekkinud ja mikrofoni jõudnud helide spektrogrammi; Võimaldab liita endaga teisi andureid; Kuvab kindlalt andurilt saadud signaali puhul kindlaksmääratud kujutise. 2.1 Kasutatava arvutisüsteemi valik Arendatavas süsteemis kasutatav arvutusseade peaks olema võimalikult väike, odav, tarbima vähe voolu ning olema lihtsalt programmeeritav. Arvutusseadme mõõtmed ei tohiks olla takistuseks valmistoote paigutamisel eluruumidesse väikest ning kerget seadet on tunudvalt mugavam kasutada ning valmistoodet kodu sisustuselemendina kasutades peaks ta võimalikult esteetiline välja nägema ning vähe ruumi võtma. Ideaalne oleks, kui süsteemi paigaldamine ei sõltuks ka pistiku asukohast, seega voolu peaks heli visualiseerija saama väikestest akudest. Kuna kokkuvõttes on tegemist tarbeesemega, siis peaks ka tema hind olema võimalikult väike, et inimesed seda ilma suuremaid kulutusi tegemata endale lubada võiksid. Nendele tingimustele tuginedes tuleks süsteemis kasutada mikrokontrollersüsteemi, mis on odav, väike, tarbib vähe voolu ning on lihtsalt programmeeritav. Kuna heli visualiseerija saab keskkonnast informatsiooni mikrofoni abil ning heli töötlemise tulemusena annab väljundiks graafilise kujutise signaalist, siis peab kasutatav arvutusseade pakkuma ka võimalust kasutada mikrofoni sisendit ning väljundi kuvamiseks peab olema võimalik ühendada kuvarit või projektorit. Odaval mikrokontrollersüsteemil puuduvad need võimalused ning tema arvutusvõimsus võib jääda väikseks, seega tuleb süsteemi keskmeks otsida võimsamat vahendit. Teiseks võimaluseks heli visualiseerija teostamisel on kasutada arvutusseadmena väikest personaalarvutit, mille puhul ei tohiks arvutusvõimsusest puudu jääda ning kuhu on võimalik ühendada nii mikrofoni, lisaseadmeid kui ka kuvarit. Samuti on tegemist hästi programmeeritava vahendiga. Kahjuks jäävad personaalarvuti mõõtmed liiga suureks, 13

14 töötamisel tekitab liiga palju müra ning tarbib palju voolu. Tegemist on suhteliselt kalli lahendusega, mis pärast paigaldamist vajab korrapärast hooldust. Mikrokontrollersüsteemide ja personaalarvutite vahepeale jäävad allikas [39] kirjeldatud sardsüsteemides kasutatavad protsessorsüsteemid - Single Board Computers ehk SBC. Nende voolutarve, arvutusvõimsus, mõõtmed ja hind jäävad mikrokontrollersüsteemide ja personaalarvutite vahepeale. Sarnaselt personaalarvutiga pakuvad nad vastavalt tüübile ka võimalust kasutada erinevaid sisend- ja väljundseadmeid. Erinevate arvutisüsteemide võrdlus on välja toodud ka tabelis 1 Arvutisüsteemide võrdlemine Tabel 1 Arvutisüsteemide võrdlemine Arvutussüsteem Plussid Miinused 8 bitine Odav; Puuduvad sisendid mikrokontrollersüsteem tarbib vähe voolu; väikeste mõõtmetega; lihtsalt programmeeritav lisaseadmete ja mikrofoni jaoks ning kuvari väljund; arvutusvõimsus liiga väike; Personaalarvuti Palju sisend- ja väljund porte; arvutusvõimsus suur; mugav programmeerida; Kallis; tarbib palju voolu; vajab hooldust; mõõtmetelt suur; tekitab müra; SBC Mõõtmetelt keskmine; Voolutarve suurem kui hind keskmine; mikrokontrolleril; voolutarve keskmine; arvutusvõimsus piisav; piisavalt sisendeid ja väljundeid; 14

15 Võrdleme allikatest [20], [16] ja [41] saadud info põhjal omavahel mõningaid sardsüsteemides kasutatavaid SBC sid, mis võimaldavad kasutada mikrofoni sisendina ning mille taktsagedus on üle 200 MHz (eeldatavalt kasutab arendatav süsteem heliteeke, mis ei tööta väiksema taktsagedusega protsessoril) (tabel 2). TRITON-ECO puhul on tegemist võrreldavatest arvutussüsteemidest kõige odavamaga ning erinevalt teistest tabelis olevatest süsteemidest on tal olemas GPIO port, kuhu on võimalik ühendada puuteandurit, mida saab kasutada näiteks ukseanduril. Samas on TRITON-ECO-l võrreldes teistega kõige väiksem muutmälu maht. ETX-mgx i eristab teistest paralleelliides, mille külge on kerge ühendada erinevaid välisseadmeid. Samuti on tegemist teistega võrreldes küllaltki odava tootega. Intel XScale Development Board: GAOPXA270 eeliseks on võimalus muuta protsessori taktsagedust, millega on võimalik reguleerida ka voolutarvet. Kahjuks on GAOPXA270 võrdluseks leitud süsteemidest kõige kallim. Terminal Computer DBE60 näol on tegemist küll vana mudeliga, mis on tootmisest maha võetud, kuid mis on tehniliselt piisav. Infotehnoloogia Kolledži robootikaklubi on kasutanud robotite ehitamisel suuremat võimsust nõudva info töötlemiseks (näiteks videotöötlus) just terminalarvutit DBE60 ning robootikaklubi kogemustele tuginedes võib öelda, et antud süsteemile pakutakse Eestis Smartlinki poolt head tuge. Terminal Computer DBE61 on DBE60 uuem mudel, mis tuli välja aasta alguses ning sellest lähtuvalt võib teha järelduse, et tegemist on arendatava süsteemiga. DBE61 tarbib tunduvalt vähem voolu kui DBE60 ning Smartlinki poolt pakutakse talle tehnilist tuge ka Eestis. G-MX21-18 Dragonball MC9328MX21-l olulisi eeliseid teiste ees ei ole ning ta on üks kallimaid arvutussüsteeme antud tabelis. 15

16 Tabel 2 Sardsüsteemides kasutatavate arvutussüsteemide andmed Nimetus Protsessor RAM Pordid Tarbitav võimsus TRITON-ECO XScale PXA MB SDRAM LCD kontroller; Pole infot 400 MHz PCMCIA / CF seade; 3 asünkroonne, 1 sünkroonne jadaliides; I²S, AC97; I²C; JTAG; USB; Bluetooth; IrDA; GPIO. ETX-mgx National 128 MB SDRAM AC97; 4W Semiconductor LCD ja CRT monitori üheaegne ja Geode sõltumatu töötamine; 266 MHz EPP/ ECP, kahesuunaline paralleelliides; Ethernet. Tugi Ka-Ro Electronics Saksamaa Kontron Saksamaa Hind (1 tk) 1897,5 EEK 2620,8 EEK

17 Nimetus Protsessor RAM Pordid Tarbitav võimsus Tugi G-MX21-18 ARM926EJ-S 64 MB SDRAM 4 UART i; Pole infot GAO Tek Dragonball 400 MHz IrDA; Inc. MC9328MX21 AC97; Kanada USB. Intel XScale MHz 128MB SDRAM Ethernet; Pole infot GAO Tek Development Board: USB; Inc. GAOPXA270 Mikrofoni sisend; Kanada Kuvari sisend; Bluetooth. Terminal Computer 433MHz 128MB 64bit 4 USB 2.0; 0,9W Smartlink DBE61 DDRAM Ethernet; Eesti VGA; Mikrofoni sisend; Heli väljund. DBE60 266MHz 64MB 3 USB porti; 13,5 W Smartlink Paralleel port; Eesti Heli väljund; Ethernet; VGA; * Hinnad on arvestatud kursi järgi Hind (1 tk) 25403,5 EEK 34212,5 EEK 3422 EEK 3650 EEK 17

18 Võrreldud arvutussüsteemide arvutussüsteemidest on projekti teostamiseks kõige sobivam terminal arvuti DBE61 kuna: vastab esitatud tehnilistele nõuetele; tarbib teistega võrreldes vähe voolu; hinnaklass on keskmine võrreldes teiste vaadeldud arvutussüsteemidega; võimalik saada tehnilist tuge Eestis; tegemist on arendatava süsteemiga; ühildub nii Windowsi kui ka Linuxi operatsioonisüsteemidega. 2.2 Operatsioonisüsteemi valik Riistvaras programmi käivitamiseks ning kasutamiseks on vaja operatsioonisüsteemi, milles programm toimida saaks. Vaatleme allikast [49] saadud info põhjal lühidalt mõningaid populaarsemaid operatsioonisüsteeme, mida on võimalik kasutada sardsüsteemides. Windows CE sardsüsteemides kasutamiseks mõeldud Microsoft Windowsil põhinev tasuline operatsioonisüsteem, mis pakub suuri konfigureerimisvõimalusi. Windows CE kernel vajab minimaalselt 350KB ruumi ning olenevalt kasutatavatest rakendustest on võimalik süsteemi suurust muuta. QNX unixi-laadne tasulise litsentsiga reaalaja operatsioonisüsteem, mis on mõeldud kasutamiseks sardsüsteemides. QNX on siin kirjeldatud operatsioonisüsteemidest kõige väiksem, tema kernel võtab ruumi vaid 12 KB. Linux Vabavaraline operatsioonisüsteem, mida on võimalik kasutada ka sardsüsteemides. Linuxis on võimalik tegutsemise keskkonda kõhnemaks teha eemaldades programme, töövahendeid ja süsteemi teenuseid, mida vaja ei ole. Standardset Linuxi kernelit on võimalik vastavalt vajadusele teha just nii paljaks kui vaja. Sellest omadusest lähtuvalt on antud operatsioonisüsteem piisavalt paindlik ning teda on võimalik kasutada paljudes erinevate nõudlustega süsteemides. Peale selle on Linuxi kood kergelt kättesaadav ning muudetav

19 kõigile protsessoritele sobivaks. Antud operatsioonisüsteem vajab KB ruumi, kui kernel on mõistlikult konfigureeritud, ning üle 100 KB teiste komponentide jaoks. Terminalarvutile DBE61 Smartlink i poolt pakutav arendussüsteem toimib vabavaralises operatsioonisüsteemis Linux. Vabavara kasutamise eeliseks on ka odavus nimelt ei tule teha täiendavaid kulutusi litsentsi ostmiseks ning seega ei kalline lõpptoote hind operatsioonisüsteemi valiku tõttu. Antud lõputöös kasutatakse Linuxi operatsioonisüsteemi, sest: see on vabavaraline; see on tasuta; see on kergelt kättesaadav; laialdaselt kasutusel sardsüsteemides; saadaval tasuta või odavad arendusvahendid; DBE61-le pakutav arendussüsteem töötab Linuxis. 2.3 Tarkvara Kiire otsingu käigus on võimalik leida internetist mitu programmi, mis pakuvad võimalusi helisignaali töötlemiseks ning kuvamiseks, seega oleks ebaotstarbekas ja aeganõudev hakata sarnast rakendust nullist programmeerima. Antud lõputöös teostatakse uuring, mille käigus peaks selguma, milliseid helisignaali töölemise ning visualiseerimisega seotud programme pakutakse GPL või mõne muu vaba litsentsi alusel ning kas leidub rakendus, mis vastab arendatava süsteemi vajadustele. Eesmärgiks on leida vabavaraline Linuxi operatsioonisüsteemis töötav helisignaalide analüüsimiseks, töötlemiseks ja visualiseerimseks mõeldud süsteem. Antud programmiga peaks olema võimalikult lihtne koostada rakendust, mis saaks sisendiks mikrofoni jõudva heli ja annaks väljundiks antud helisignaali visuaalse kujutise, mis edastaks silmale kergesti hoomatavat infot heli valjuse ning heliallikat iseloomustavate näitajate kohta. Süsteemis võiks saada eemaldada sisendisignaalist kajad, müra või muud segavad efektid ning reguleerida 19

20 mikrofoni tundlikkust või väljundisse minevat signaali. Samuti ei tohiks programmi töötamiseks vajaminevad riist- ja tarkvaralised nõuded olla sellised, mis takistaksid kasutamast terminalarvutit DBE61. Kui ei leidu programmi, mis kõigile eelnevalt kirjeldatud tingimustele vastaks, siis peaks olema mugandamise võimalus, parima olemasoleva rakenduse programmikoodi sobivaks muutmise võimalus. See omakorda eeldab, et antud programm on vabavaraline ning lähtekood kättesaadav, parimal juhul on olemas võimalus kasutada ka API t. Parima tulemuse saavutamiseks võib erinevaid programme ka omavahel kombineerida. Näiteks leidub programm, mis võimaldab helisignaalist müra, kaja ja muude häirivate nähtuste eraldamist, kuid vajab sisendiks helifaili ning ei võimalda kuvada helisignaalist visuaalset kujutist. Selle kasutamiseks antud projektis tuleks leida veel rakendus, mis reaalajas suudaks anda mikrofoni püütud helisignaali helifaili kujul sisendiks helitöötlusprogrammile ning helisignaali visualiseerija, mis helitöötlusprogrammi saadud väljundsignaali omakorda sisendina kasutaks. Sobivaima lahenduse leidmiseks tuleb teostada uuring internetis leiduvate heliteekide kohta. Kuna kõikide internetis leiduvate helisignaali analüüsimiseks ja töötlemiseks mõeldud programmide läbi uurimiseks kuluks väga kaua aega, siis on valitud uurimiseks Linuxi operatsioonisüsteemile mõeldud digitaalse signaali töötlemise tarkvara nimekiri allikast [38]. Ajakulu vähendamiseks toimub otsimine kahes etapis, millest esimeses leitakse kiirel ülevaatamisel iga programmi koduleheküljel oleva info põhjal, kas see vastab üldnõuetele. Teises järgus uuritakse esimesest ringist edasi pääsenud programme lähemalt, süvenedes kodulehel olevasse infosse ning vajadusel programmi installeerides ning järele proovides Heliteekide esmane analüüs Esmase analüüsi teostamiseks on koostatud tabel 3 Heliteekide vastamine nõuetele, mis kirjeldab heliteekide vastavust järgmistele üldnõuetele: 20

21 Heli töötlus Võimalik heli töötlemine ja filtrite rakendamine müra, peegelduste ja kaja eemaldamiseks. Vabavara programmi muudatuste tegemine peab olema lubatud. Lahtrisse saab kirjutada vastuse Jah, kui tarkvaral on vabavaraline GPL litsents või dokumentatsioonis mõni muu märge, et tegemist on vabavaralise tarkvaraga, kuhu muudatuste tegemine on lubatud. Programmeeritavuse võimalused - on olemas lähtekood ja API, et saaks teha programmi täiendusi ja muudatusi. Rahuldab riistvara peab sobima thincani DBE61 näitajatega. Viimane uuendus kuupäev või aasta, millal viimati uuendati tarkvara koduleheküljel olevat informatsiooni. Näitab, kas arendamine on seisma jäänud ja teek aegunud või on tegemist tarkvaraga, mille arendamisega aktiivselt tegeletakse ning mis on tänapäevane. Mitu aastat tagasi seisma jäänud arendusega programmide puhul on suur tõenäosus, et nad ei tööta tänapäevase tarkvaraga arvutis. Heli visualiseerimine - programm suudab kuvada mingil moel tekkinud heli. Viimaseks tehakse otsus, kas tasub antud tarkvara edasi uurida või mitte. Kui mitte, siis kommenteerida otsust lähemalt. Esmasest analüüsist pääsevad edasi ka mõned sellised programmid, mille arendus on küll seisma jäänud, kuid mille kodulehekülge uurides võib saada aimu, et tegemist on tarkvaraga, mille dokumentatsioon on põhjalikum kui enamikel teistel samas seisus rakendustel ning mille arendustöö on jõudnud mingile aktsepteeritavale tasemele. 21

22 Tabel 3 Heliteekide vastamine nõuetele Heliteek Võimaldab Programmeeritavuse Vabavaraline Rahuldab Viimane Visualiseerib Kas tasub edasi uurida? heli töötlust võimalused riistvara (433 uuendus helilaineid MHz) Aglaophone [2] Jah Lähtekood Jah 2002 Jah Jah ATSH [3] Jah Lähtekood, API Jah Jah 2003 Jah Jah CLAM [7] Jah Lähtekood, API Jah 2007 Jah Jah ComParser [10] Jah Lähtekood Jah 2004 Jah Jah Dataplore [23] Ei Ei. Kuna tegemist ei ole vabavadalise programmiga, siis ei ole põhjust edasi uurida. FlowDesigner Jah Lähtekood, API Jah 2005 Jah Jah [13] Fscape [46] Jah Ei. Kuna puudub dokumentatsioon, siis ei ole põhjust edasi uurida. FreeADSP [14] Jah Jah 2007 Ei. Stabiilset versiooni pole välja antud.

23 Heliteek Võimaldab Programmeeritavuse Vabavaraline Rahuldab Viimane Visualiseerib Kas tasub edasi uurida? heli töötlust võimalused riistvara (433 uuendus helilaineid MHz) Guimauve [17] Jah 2002 Jah Ei. Kuna dokumentatsiooni ei ole ja arendus seisab, siis ei ole põhjust edasi uurida. HASAS [19] Jah Lähtekood Jah 2004 Jah InSpect [22] 1998 Ei. Kuna arendus seisab, siis pole mõtet edasi uurida JAAA [26] Ei Jah Jah Ei. Dokumentatsioon puudub KSFX [38] Ei. Tegemist on kerneli mooduliga ja ei sobi antud rakendusele. LastWave [27] Jah Lähtekood Jah 2006 Jah Ei. Arendus on seiskunud. Maaate [6] Lähtekood Jah 2002 Ei. Kuna arendus seisab, siis pole mõtet edasi uurida. 23

24 Heliteek Võimaldab Programmeeritavuse Vabavaraline Rahuldab Viimane Visualiseerib Kas tasub edasi uurida? heli töötlust võimalused riistvara (433 uuendus helilaineid MHz) Mustajuuri [30] Jah Lähtekood Jah Jah 2005 Jah. Olgugi, ert arendus seisab, on tegemist küllaltki hästi dokumneteeritud ja huvitava teegiga. PipeWave [24] Ei. Pole piisavalt funktsionaalne ja infot vähe SATAN [35] Jah 2003 Ei. Kuna arendus seisab, siis pole mõtet edasi uurida. SNDAN [42] Jah Ei ole saadaval 2000 Jah Ei. Arendus seisab. lähtekoodi SonicFlow [44] Ei. Funktsionaalsus ei sobi - kasutatakse heliefektide tekitamiseks. SonicVisualiser [43] Jah Lähtekood Jah 2007 Jah Jah 24

25 Heliteek Võimaldab Programmeeritavuse Vabavaraline Rahuldab Viimane Visualiseerib Kas tasub edasi uurida? heli töötlust võimalused riistvara (433 uuendus helilaineid MHz) Sound Ruler Jah Jah Jah 2007 Jah Ei. Kuna SoundRuler [45] vajab MATLAB i, mis teeks asjad üleliia keeruliseks, siis ei ole mõtet edasi uurida. SSPLab Lähtekood Jah Jah 2004 Jah Ei. Arendustöö on AudioAnalyser (SAA) [34] seiskunud, dokumentatsioon on puudulik. Yorick [51] Jah Lähtekood Jah Ei. Funktsionaalsus ei sobi. Dsplab [21] Jah 2006 Ei. Dokumentatsioon on puudulik ning programm kasutab teeke, mida eam ei arendata. Jein [31] Ei. Dokumentatsioon puudub ja pole piisavalt infot programmi kohta. 25

26 Heliteek Võimaldab Programmeeritavuse Vabavaraline Rahuldab Viimane Visualiseerib Kas tasub edasi uurida? heli töötlust võimalused riistvara (433 uuendus helilaineid MHz) BeatRoot [5] Lähtekood, API 2006 Jah Ei. Dokumentatsioon puudulik ja arendus algjärgus seisma jäänud. Skruntskrunt [40] Ei Jah Ei. Funktsionaalsus ei ole piisav. Freqtweak [15] Jah Lähtekood 2004 Jah Ei. Arendus on seisma jäänud ja dokumentatsioon on puudulik GWave Analyzer [18] Ei 2001 Jah Ei. Arendus on peatunud ning lähtekood pole enam allalaetav. Kiss FFT [25] Ei Jah 2003 Ei Ei. Dokumentatsioon puudub. PVC [9] Jah Ei. Arendus on peatunud ja dokumendid pole enam allalaetavad. PVN Nation Ei. Dokumentatsioon [29] puudub. 26

27 Heliteek Võimaldab Programmeeritavuse Vabavaraline Rahuldab Viimane Visualiseerib Kas tasub edasi uurida? heli töötlust võimalused riistvara (433 uuendus helilaineid MHz) Sculptor [36] Jah Lähtekood Jah 2000 Jah Ei. Arendus on peatunud. SculptTool [37] Jah 2001 Ei. Arendus on peatunud. Pvoc [32] Jah Lähtekood Jah 2006 Ei. Arendus seiskunud, funktsionaalsus vale. Quickplot [1] Ei Jah Jah Ei. Dokumentatsioon puudulik, funktsionaalsus vale. Spectromatic [4] Ei 2003 Jah Ei. Arendus on peatunud, dokumentatsioon puudub. WaveForm [47] Ei Jah 2005 Jah Ei. Dokumentatsioon puudub. Rmsps [33] Ei Jah Ei. Funktsionaalsus vale visualiseerib vaid heli valjusust. 27

28 2.3.2 Aglaophone Koduleheküljelt [2] saadud info põhjal võimaldab Aglaophone analüüsida ja töödelda heli reaalajas. Süsteem koosneb moodulitest, mis on mõeldud heli käsitlemiseks erinevatel viisidel. Näiteid Aglaophone moodulitest: müra filtreerimist toetav moodul heli salvestamiseks ning taasesitamiseks; moodul, mis kuvab reaalajas spektrogrammi ja ostsillograafi näitu samas programmiaknas; moodul, mis tekitab ühest sisendist kaks väljundit; moodul kahe signaali kokkuliitmiseks. Töötamiseks vajab programm java kompilaatorit, Java 2 virtuaalmasinat ning ALSA helikaardi draivereid. Programmi kodulehel on olemas pildid programmist ja lühike kirjeldus, mida Aglaophone teha suudab, puudub siiski täpsem dokumentatsioon. Kogu süsteemi arendus on peatunud aastal ATSH Allika [3] andmeil kasutab sisendina programmi ATS faile ja kuvab nende sisu spektrogrammina (joonis 2). Võimalik muuta signaali amplituudi ja sagedust. Muudetud spektrogrammiga signaal sünteesitakse helifailiks formaadis WAV, AIFF või SND. Programm töötab vaid GTK vanade versioonidega (GTK või varasem) ning süsteemi arendus on jäänud seisma aastal Joonis 2: näide ATSH i graafilisest kasutajaliidesest

29 2.3.4 CLAM C++ teek heli ja muusika jaoks. Võimaldab kasutajal ise ehitada mugavas kasutajaliideses lohista ja pilla põhimõttel (drag-and-drop) helitöötluse objektidest võrgustikke ning nendest Qt-d kasutades eraldiseisvaid rakendusi luua (joonis 3). Loeb ja kirjutab mitmekanalilisi audio faile erinevates formaatides (mp3, wav, aiff, ogg jne); võimaldab heli analüüsi ja töötlust; midi failide teisendamine XML iks; erinevad võimalused heli visualiseerimiseks spektrogrammist kuni ostsillograafi näiduni. Joonis 3: näide CLAM i graafiliasest kasutajaliidesest CLAM on hästi dokumenteeritud, kodulehekülge uuendatakse tihedalt ning arendustöö kulgemisest antakse teada huvilistele blogi kaudu. Info saadud allikates [7] ja [8] ComParser Programm, mis tegeleb reaalajas heli tuvastamisega. Programmi toimimiseks on vaja eelnevalt vähemalt ühte salvestust helist, mille süsteem peaks ära tundma ja võrgustiku faili, mis viitab nendele salvestatud helifailidele ning täpsustab, millise signaali peab programm vastuseks saatma peale heli tuvastust. Salvestatud helifailidest võib genereerida JPG 29

30 pildifaile, mis sisaldavad infot heli sageduse ja muude näitajate kohta. Peamiselt on mõeldud ComParser muusikast kindlate lõikude või helide äratundmiseks. Kodulehel [10] olev dokumentatsioon on põhjalik ja arusaadav, kuid ComParseri arendus on aastal seisma jäänud FlowDesigner Arenduskeskkond, kus on võimalik ehitada olemasolevatest ehitusklotsidest keerukaid rakendusi (joonis 4). Olgugi, et tegemist on peamiselt prototüüpimise vahendiga, on võimalik FlowDesigneriga valmistada reaalaja rakendusi heliefektide töötluseks. Momendil saadav versiooniga on võimalik ehitada rakendusi, mis sisaldavad signaali või kõne töötlemist, vektor kvantimist, fuzzy loogikat, reaalajas heliefektide töötlemist ning pilditöötlust. Joonis 4: näide FlowDesigneri graafilisest kasutajaliidesest 30

31 Kodulehekülje põhjal jääb mulje, et programmi arendustööga ei tegeleta järjepidevalt - viimane uuendus leheküljel on küll aastast 2007, kuid enne seda alles aastast Paljud funktsionaalsused programmis on alles arendusjärgus. FlowDesigner ei paku ka võimalust heli visualiseerimiseks (näiteks spektrogramm, ostsillograaf) ning programm ei ole mõeldud sihtotstarbeliselt helitöötluse rakenduste ehitamiseks. Info saadud allikast [13] HASAS Eelkõige hüdrolokaatori signaali analüüsiks mõeldud süsteem. HASAS e põhjal on võimalik ehitada arvutivõrgustiku bioloogiliste uurimuste teostamiseks ja info kogumiseks loodusest, ning samas kasutada seda väiksema rakendusena signaali töötlemiseks. Pakub palju erinevaid võimalusi signaali analüüsimiseks, töötlemiseks, salvestamiseks, pakkimiseks ningvõimaldab helisignaali visualiseerimist mitmel erineval viisil. Koduleheküljel [19] puudub täpsem dokumentatsioon ja juhis süsteemi kasutamiseks, viimane uuendus on tehtud aastal 2004, mis näitab, et arendustööd on seiskunud Mustajuuri Joonis 5: näide Mustajuuri graafilisest kasutajaliidesest 31

32 Allika [30] põhjal on tegemist erinevatest pistikkomponentidest koosneva helisignaali töötlemiseks mõeldud rakendusega (joonis 5). Programm pakub võimalusi nii reaalajas tekkiva helisignaali kui ka sisseloetava helifaili töötlemiseks, visualiseerimiseks ja neile heliefektide lisamiseks. Kodulehekülg on informatiivne, kuid süsteemi dokumentatsioon ei ole põhjalik. Kasutajaliides korralik ja kergesti arusaadav, kuid programmi arendus on jäänud seisma aastal SonicVisualiser Helifailide sisu analüüsimiseks ja vaatlemiseks mõeldud rakendus. Visualiseerib sisselaetud helifaili signaali lainekuju ning spektrogrammi (joonis 6). Kasutaja võib valida helifaili lõigu, mida tahab analüüsida ning märgistada selles vastavalt soovile erineva värviga erinevate näitajate kindlaid väärtusi (näiteks helisignaali sagedused üle mingi väärtuse kuvatakse punase värviga) ning vajadusel lisada kindla ajamärgi juurde kommentaare. Võimalik on ka mõningane helitöötlus kopeeri-ja-kleebi põhimõttel. Joonis 6: näide SonicVisualiseri graafilisest kasutajaliidesest 32

33 Süsteem on põhjalikult dokumenteeritud ja kodulehe uuenduste kuupäevade põhjal võib järeldada, et arendustöö ei ole peatunud. Info pärit allikast [43] Heliteekide detailse analüüsi kokkuvõte Detailse analüüsi läbinud programmidest suudavad reaalajas vastu võetud helisignaali töödelda ja visualiseerida Aglaophone, CLAM, HASAS ja Mustajuuri. ATSH vajab sisendiks faile, mis on eelnevalt programmi ATS poolt saadud helisignaali põhjal kokku pandud, ning FlowDesigner ei võimalda sissetulnud helisignaali visualiseerida. SonicVisualizer vajab sisendiks helifaili ning kuna programm on mõeldud eelkõige helisignaali analüüsimiseks, siis antud juhul jääb SonicVisualizer valikust kõrvale. ComParseri kujul on tegemist küll huvitava programmiga, mis üritab varem salvestatud helide põhjal ära tunda ruumis tekkinud heli, kuid kuna sisendiks on vaja suurt hulka helifaile ja võrgustikfaili, mis võtavad kõvakettaruumi ning visualiseerida suudab rakendus vaid juba salvestatud helisignaale ja sedagi vaid pildifaili kujul, siis ei ole mõtet antud programmi uurimisega edasi tegeleda. Järelejäänud neljast programmist on HASAS natukene teise suunitlusega kui ülejäänud. Tegemist on suurema süsteemiga, mis on mõeldud eelkõige bioloogiliste uurimuste teostamiseks ja andmete kogumiseks veekogudest. Kuna programmi koduleheküljel puudub põhjalikum kirjeldus, kuidas seda kasutada saab ja momendil on valida peale HASAS e ka lihtsamate programmide vahel, siis langeb antud rakendus nimekirjast välja. Aglaophone, Mustajuuri ja CLAM i kodulehekülgi uurides ilmneb, et nii Aglaophone kui ka Mustajuuri arendus on mitu aastat tagasi seisma jäänud, samas CLAM i arendustööde käekäigust on selle aasta jooksul mitu korda teada antud. CLAM i kasuks räägib veel fakt, et tegemist on hästi dokumenteeritud süsteemiga, millel on arusaadav ning lihtne kasutajaliides ning võimalus valmistada programmist täiesti eraldiseisvaid rakendusi vastavalt kasutaja enda soovile ja vajadustele. Seega on uurimuste tulemusena osutunud kõige sobivamaks programmiks CLAM, sest: tegemist on arendatava ning kaasaegse süsteemiga; dokumentatsioon on põhjalik; 33

34 vastab esitatud nõuetele; tal on lihtne ja arusaadav kasutajaliides; on võimalik luua CLAM i funktsionnalsusel ja komponentidel baseeruvaid rakendusi Valitud programmi CLAM tutvustus CLAM on heli ja muusika vallas uurimustööde teostamiseks ning rakenduste arendamiseks mõeldud tarkvara raamistik. Programmi nimi on lühend, mis pikalt väljakirjutatuna tähendab C++ heli- ja muusika teeki (C++ Library for Audio and Music). Antud raamistik pakub helisignaali analüüsiks, sünteesiks ning muundamiseks nii erinevaid vahendeid kui ka skemaatilist mudelit. [7] CLAM i arendusega hakati tegelema juba aastal. Arendustööde kolmeks põhieesmärgiks oli sõltumatus platvormist (kompileerub nii GNU/Linux, Windows i kui ka Mac i all), paindlikkus (lihtne kasutada ja mugandada kõigile vajadustele) ning terviklikkus (sisaldab kõiki helitöötluse projektis vajaminevaid vahendeid sisendid/väljundid, töötlemine, säilitamine, kuvamine jne). Programm on objekt orienteeritud ning kasutab palju kolmandate osapoolte valmistatud teeke (näiteks FFTW, Qt, PortAudio, DirectX, libsndfile jne). [8] Mõningad näited sellest, mida on momendil CLAM iga võimalik teha: mitmekanaliliste helifailide lugemine ja kirjutamine laialdasemalt tuntud formaatides (wav, aiff, mp3, ogg...), filtrite rakendamine sagedusalas, erinevatel Fourier teisendusel põhinevate rakenduste kasutamine, heli ja ta spektraalsete näitajate kohta statistiliste arvutuste tegemine, signaali andmeobjektide silumiseks graafiliste vahendite kasutamine, lihtsate töötlusobjekte võrgustikuks ühendamine, MIDI failide teisendamine XML iks, kasutajaliidesest kontrollitavate reaalajaliste spektri analüüsi/sünteesi rakenduste loomine jne. [7] CLAM koosneb kolmest erinevast rakendusest (tabel 4) Music Annotator (joonis 7), SMSTools (joonis 8) ja NetworkEditor (joonis 9). 34

35 Music Annotator on vahend muusikalise info analüüsimiseks, kontrollimiseks ja muutmiseks. Programmis on võimalik visualiseeritud helisignaali märgistada ja eraldada sellest lõike, jaotades need nootide segmentideks, akordideks või muudeks struktuurideks vastavalt kasutaja vajadusele ja töötlemise eesmärgile. Music Annotator on võimeline graafiliselt kuvama mõningase ebatäpsusega helikõrgusi ning minoorseid ja mažoorseid akorde. [8] Joonis 7: näide CLAM Music Annotatori graafilisest kasutajaliidesest SMSTools (Spectral Modeling Synthesis) analüüsib, muundab ja sünteesib sisendina antud heli kasutades sünteemisel meetodit, mida tinglikult võib nimetada siinused pluss müra. Sisendiks võib peale helifaili anda programmile ka XML faili, mille järgi teostatakse signaalile teisendused. Erinevaid muundusi võib rakendada helisignaalile ka graafilise kasutajaliidese kaudu. Analüüsi resultaadina antakse väljundiks heli, tema siinuseline komponent ning jääkkomponent. Tulemust on võimalik salvestada inimesele arusaadava XML faili kujul ning SDIF failina. [8] NetworkEditor on CLAM i ehitusvahend, mille abil on võimalik graafiliselt omavahel ühendada erinevaid helitöötlusüksuseid võrgustikuks, mida võib omakorda kasutada andmete töötluse tuumikuna eraldi rakenduses. CLAM on integreeritud ka rakenduste arendusraamistiku Qt Designer iga, mida kasutatakse laialdaselt graafiliste kasutajaliidestega programmide valmistamiseks. Seetõttu on lihtne valmistada CLAM i NetworkEditoris ehitatud andmete töötluse tuumikust eraldiseisvaid graafilise kasutajaliidesega rakendusi ja 35

36 pistikkomponente ilma ühtegi rida koodi kirjutamata. NetworkEditoriga on kaasas ka Prototyper, millega on võimalik NetworkEditoris tehtud helitöötlus võrgustikku ja selle põhjal Qt-s valmistatud kasutajaliidest eraldi rakendusena käivitada.[8] Joonis 8: näide CLAM SMSTools i kasutajaliidesest Tabel 4 CLAM i programmid ja nende võimalused Nimetus Kasutusvõimalused Music Annotator Helifailis oleva info kuvamine, annoteerimine ja muutmine. SMSTools Helifailis oleva info analüüsimine, muundamine ja sünteesimine. NetworkEditor Helianalüüsi ja -sünteesi võrgustike ehitamine kasutades olemasolevaid töötlus-, sünteesi- või analüüsiplokke. Sisendina võimalik kasutada mikrofoni või olemasolevat helifaili. Antud lõputöös on tähelepanu koondunud NetworkEditorile, milles toimub helisignaali töötlemise võrgustiku valmistamine. Et rakendus oleks eraldiseisev ja väljund kuvaks vaid valitud visualiseeringut, siis kasutatakse Qt-d graafilise kasutajaliidese valmistamiseks ning Prototyper it rakenduse käivitamiseks. 36

37 3. Teostus Teostus koosneb järgmistest etappidest: CLAM rakenduse loomine ning täiendamine personaalarvutis ehk arendusmasinas; o Linux i installeerimine arendusmasinasse; o CLAM i ja vajalike komponentide installeerimine arendusmasinasse; o CLAM rakenduse prototüübi loomine; o loodud rakenduse testimine ja täiustamine; Arendatud rakenduse paigaldamine DBE61 süsteemi; o Linuxi installeerimine DBE61 platvormile; o alglaadimise korraldamine DBE61 süsteemis; o loodud rakenduse toimimise test DBE61 süsteemis; o rakenduse ja rakenduse tööks vajalike failide kopeerimine DBE61 sisemisele flash mälule. 3.1 Linuxi installeerimine arendusarvutisse Arendusarvutisse installeeritakse Linuxi distributsioon Kubuntu Edgy, sest CLAM i arendusmeeskond on loonud installatsiooni pakid Linuxi distributsioonile Ubuntu Edgy. Kubuntu Edgy on ühilduv Ubuntu Edgy ga. Kubuntu kasutab KDE d, mis baseerub Qt-l, mida kasutatakse ka CLAM i programmeerimisel. Linuxi installeerimisel kasutatakse standardvalikuid. 37

38 3.2 CLAM i installeerimine Linuxis Kuna CLAM i arendajad on välja pannud installatsioonide hoidla aadressi, siis tuleb see lisada arendusarvuti /etc/apt/sources.list faili, kus säilitatakse erinevate installatsioonipakettide hoidlate aadresse. Installatsiooni hoidla lisamiseks kasutatakse käsku: echo deb >>/etc/apt/sources.list Hoidla pakkide nimekirja värskendamine apt-get update Installeerida tuleb järgnevad CLAM i paketid: clam-annotator - CLAM audio annotatsiooni vahend clam-annotator-examples - CLAM audio annotatsiooni vahend clam-smstools - CLAM SMSTools clam-networkeditor - CLAM Network Editor, CLAM i prototüüpimisvahend clam-networkeditor-examples - CLAM Network Editor, CLAM i prototüüpimisvahend libclam-dev arenduspakett CLAM raamistikule libclam-doc - CLAM raamistiku dokumentatsiooni pakett libclam0 CLAM raamistiku arenduskeskkonna pakett Installeerimine: apt-get install clam-annotator clam-annotator-examples clam-smstools clam-networkeditor clam-networkeditor-examples libclam-dev libclam-doc libclam0 CLAM i arendajad soovitavad kasutada Linuxi all helisüsteemi JACK, mille installeerimiseks kasutatakse järgnevat käsku: apt-get install libjack jackd jackit-devel jackit-utils CLAM baasil tehtud rakenduse kasutajaliidese loomiseks on vaja Qt4 Designer it, mida installeeritakse järgneva käsuga: apt-get install qt4-designer qt4-dev-tools qt4-doc qt4-qtconfig 38

39 3.3 Rakenduse loomine CLAM i abil Lihtsa heli visualiseeriva näidisprogrammi loomiseks eelduseks on mikrofoni ja kõlarite olemasolu. Esiteks tuleb käivitada CLAM i rakendus NetworkEditor. Vaikimisi on avatud uus projekt. Kasutaja valib töötlusvahendite nimekirjast (nr 3 joonisel 9) Audio Input/Output sektsioonist komponendi AudioSource sellele hiire vasaku klahviga klikkides ning klahvi all hoides lohistab töötluselemendi võrgustiku ehitamise töölauale (nr 4 joonisel 9). Vasaku hiireklahvi vabastades jääb komponent töölauale. Samamoodi lohistab kasutaja AudioSource komponendi kõrvale Audio Input/Output kategooriast võetud AudioSink elemendi. Kahe töötlusploki ühendamiseks vajutab kautaja hiire vasaku klahviga AudioSource komponendi küljes oleva ümara nupu ehk väljundi peale ja veab tekkinud ühendusniidi vasakut hiireklahvi all hoides AudioSink i sisendinupule, kuhu ühendus kinnitub kui vasak hiireklahv vabastada. Et kindlaks teha, kas valmistatud võrgustik töötab, tuleb valida peamenüüst (nr 1 joonisel 9) Network menüüst Play. Nüüd mikrofoni rääkides peaks kõlaritest kostuma mikrofoni jõudev heli, juhul kui kasutaja ei ole kõlareid või mikrofoni välja lülitanud. Toimiva võrgustiku salvestamiseks tuleb File peamenüüst valida Save as ning avanenud salvestusaknas kirjutada faili nimi, millega clamnetwork laiendiga faili salvestada soovitakse. 1 Peamenüüd ;2 kohandatud menüü; 3 töötlusvahendite nimekiri; 4 võrgustiku ehitamise töölaud. Joonis 9: CLAM NetworkEditor graafiline kasutajaliides Valmistatud võrgustikule kasutajaliidese valmistamiseks tuleb avada programm Qt Designer versioon 4 või uuem. Avamisel pakub programm kasutajaliidese akna vorm või šablooni. 39

40 Valida tuleks kas Main Window või Widget ning vajutada Create nuppu. Kui programmi käivitamisel kohe vormi valimise võimalust ei pakuta, tuleb File peamenüüst valida New Form... ning avanenud valikuaknast Main Window või Widget ning vajutada Create nuppu. Programm kuvab töölaual (nr 3 joonisel 10) akna šablooni. Alt paremast nurgast hiire osutiga kinni võttes on võimalik akna suurust muuta. Töövahendite nimekirja (nr 2 joonisel 10) alamkategooria CLAM Widgets all on helitugevuse mõõdik Vumeter, mis lohistatakse hiirega töölaual olevale aknašabloonile. Aknale ilmunud Vumeter i suurust saab reguleerida seda hiirega aktiveerides ning Vumeter i piirjoontele tekkinud kastikesi hiirega vajalikus suunas liigutades. 1- peamenüü; 2 töövahendite nimekiri; 3 töölaud. Joonis 10: Qt Designer graafiline kasutajaliides Vumeter tuleb siduda NetworkEditor is loodud võrgustikufailis oleva ühe helitöötlusploki väljundiga. Selleks avatakse NetworkEditori vastav võrgustikfail. Antud võrgustikus asuva 40