Tartu Ülikool Otsing multimeediadokumentides Professionaalsed otsinguliidesed MTAT.05.091 Magistriseminar Kasutajaliideste loomine Tudeng: Kerli Rungi Juhendaja: Erkki Leego Tartu 2007
Sissejuhatus Tänapäeva kiire elutempo juures on ju täiesti iseenesestmõistetav soov, et meile vajalik informatsioon oleks alati võimalikult vähese vaevaga, kiirelt ja pädevalt kättesaadav. Me ei soovi veeta oma väärtuslikku aega erinevates andmebaasides kaevandades ning tihtipeale ei ole me selle teostamiseks ka piisavalt kvalifitseeritud. On tähtis, et huvipakkuv info oleks lihtsasti leitav. Käesolevas seminaritöös vaadeldakse erinevaid meetodeid ning võimalusi multimeediadokumentide efektiivsemaks otsimiseks. Samuti antakse põgus ülevaade mitmesugustest keerulisema ülesehitusega päringusüsteemidest. 1. Otsing multimeediadokumentides Käesolevad struktureeritud andmebaaside ning tekstidokumentide kogude kasutajaliidesed on juba üsna heal tasemel ning arenevad/paranevad iga päevaga, kuid multimeediadokumentide otsinguliidesed on siiski alles lapsekingades. Valdav osa piltide, videote, audio või animatsioonide otsingusüsteeme põhinevad kirjeldusfailidest või metaandmete (ingl k metadata) abil otsimisel. Näiteks võib fotokogust teha päringuid kuupäeva, fotograafi, vahendi, asukoha või pealkirja järgi, kuid selleks peavad fotod olema eelnevalt inimeste poolt sobilikult kirjeldatud ning märgendatud. Kuigi täielik automaatne ja töökindel multimeediadokumentide tuvastamine ei ole veel võimalik, aitavad arvutid edukalt suurtes infobaasides esinevaid andmeid ning otsitavat informatsiooni analüüsida, filtreerida ning võrrelda. Kuna multimeediadokumentide loomine ning kasutamine muutub tehnoloogia arenedes üha lihtsamaks, toetuvad need liidesed suuresti põhjalikel märgendamis- ja indekseerimisvahendeil, efektiivsetel otsingualgoritmidel ning tõhusatel brausimistehnikail tulemuste vaatlemiseks. Järgnevalt vaatleme meetodeid ning lähenemissuundi erinevate multimeediadokumentide otsinguiks. 1.1. Fotod, pildid Uurimissuunda, mis tegeleb mingite kindlat tüüpi objektide piltidelt leidmisega, nimetatakse pildisisu järgi pärimiseks (ingl query by image content).
Vaatleme näitena Ameerika Vabandussammast. Kuju profiili oleks heal juhul pildilt tuvastada võimalik siis, kui foto kvaliteet (fotoaparaadi suund, kaugus, valgustus jne) oleks koguaeg ühesugune. See on aga suurte ning mitmekesiste kogude puhul ülimalt vähetõenäoline. Kasutatakse kahte erinevat lähenemist: Erinevate tunnuste või detailide järgi otsimine päring näiteks tõrviku või seitsme tipuga krooni järgi Erinevate värvide järgi otsimine USA lipu puhul võiks otsida punase, sinise ja valge värvi järgi, mis iseenesest muidugi tagastaks ka väga palju nn mittevajalikku infot Kahjuks ei saa väita, et mainitud meetodid oleks seni üliefektiivseks osutunud. Tulemuslikumad on olnud otsingud nn piiratud kogudest, kus kasutaja saab joonistada või visandada soovitud kujutise ning otsida sellega samu tunnusjooni omavaid pilte. California San Diego Ülikooli teadlased on välja töötanud uudse sisupõhise (ingl k content-based) pildiotsingu meetodi, kus otsingumootor püüab automaatselt tuvastada pildil olevaid objekte ning omistab neile siis vastavad märksõnad näiteks vihmavari, ujuja, inimene jne. Kirjeldatud lahenduse käigus analüüsitakse nii pildi värvi, struktuuri ja sellel olevaid jooni ning objekte (näitena toodud kõrvalolev pilt). Seniste katsetuste põhjal on see meetod tõestanud end, kui oluliselt kiirem, jõudsam ja efektiivsem, kui senini kasutatud lähenemised [4]. 1.2. Kaardid, plaanid Arvutipõhised kaardid on järjest detailsemad ning interneti vahendusel üha enam kättesaadavad. Kaardil mingi asukoha määramine laius- ning pikkuskraadi abil ei ole enam ammu mingi probleem, kuid otsida mingi kindla tunnusjoone järgi ei olnud veel mõni aeg tagasi võimalik. Nüüd aga on ning seda eelkõige seetõttu, et geograafilised infosüsteemid säilitavad andmeid struktureeritud ning mitmetasandiliste kaardikihtidena. See võimaldab üsna kergesti leida sihtkoha mingite kindlate parameetrite või tunnusjoonte järgi nimi, elanike arvu, koordinaadid, pinnavorm, asutus (näiteks restoran, kino, haigla) jne. Võimalikke päringuid: Tagasta kõik Aafrika kontinendil asuvad mäed, mille kõrgus merepinnast on rohkem kui 3000 m. Tagasta kõik rohkem kui 1 miljoni elanikuga sadamalinnad, mille 10 miili raadiuses paikneb lennujaam.
1.3. Joonised, diagrammid, skeemid Arvutipõhised projekteerimis-, kujundamis- või modelleerimisprogrammide liidesed pakuvad kasutajale olemasolevaist joonistest vaid piiratud otsinguvõimalusi. Kuigi mõned lihtsamad otsingud on isegi võimalikud (näiteks leida kõik sinistest ruutudes paiknevad punased ringid), on nendest üldjuhul vähe kasu. Palju tulemuslikum oleks võimalus teha oluliselt keerulisemaid ning detailsemaid otsinguid, näiteks leida kõik joonised 6cm-st väiksemate kolbidega mootoritest. Käesoleval hetkel on olemas juba mõningad vahendid, mis võimaldavad dokumendi struktuuri tuvastamist ning selle järgi otsimist leida ajalehe esikaasi, mis vastavad teatud kindlatele kriteeriumitele. Konkreetsete sisuliste omaduste ja featuuride järgi laialdaselt otsida hetkel veel ei õnnestu. Üliefektiivseid meetodeid diagrammide otsinguks veel välja töötatud ei ole, kuna puudub ühine standard nende vormi ja formaadi kohta. Seetõttu antud hetkel saab seda teostada vaid äärmiselt täpse ning detailse märgendamise tulemusena. 1.4. Heli Helilise info otsimisega tegeleb lausa omaette teadusharu, mis on spetsialiseerunud nn muusikast informatsiooni ekstraheerimisele. Üks levinumaid meetodeid on muidugi märksõna põhjal otsimine, kus otsingusõna püütakse tuvastada metaandmetest või audiofaili transkriptsioonist. Heliliste andmete otsimiseks on võimalik kasutada ka audiosisendit (sisupõhine otsing, ingl k content-based retrieval), mille vasteid või sarnaseid salvestisi andmebaasist tuvastatakse. Nimetatud audiosisendiks võib olla sisselauldud või kuskilt mahamängitud helijupp eeldusel, et see ei sisalda liigselt segavat taustamüra. Kohati on võimalik isegi tuvastada kindlat esitajat-lauljat või mõnd individuaalset sõna ja fraasi, kuid üldjuhul on see siiski keeruline ja vaevanõudev protsess. 1.5. Video Video tuvastamine ei põhine vaid kõikide olemasolevate kaadrite seest otsimist. Efektiivsemaks otsimiseks peaksid videod olema jaotatud stseenideks või teatud lõikudeks, mida on võimalik otsingu kiirendamiseks ja hõlbustamiseks ka soovi korral vahele jätta. Selline lähenemine, kus on ette antud ajaliselt järjestatud kaadrid
põhisündmustest, võimaldab pikemast videost kergemini ülevaadet saada, seda valida või muuta. Erinevaid meetodeid videoinfo otsimiseks: Märksõna otsing märksõna otsitakse kas metaandemetest/võtmesõnadest või videofailides sisalduvast helist. Viimane eeldab efektiivseid kõnetuvastusmeetodeid (kõnetuvastus, närvivõrgud, masinõppe meetodid), mis võimaldaksid piisavalt korrektset heliteksti ümberkirjutamist. Aegridade aktiivotsing (ingl k time-series active search) otsing videosignaalide aegridade põhjal. Sisend- ja salvestatud signaalidest moodustatakse tunnusvektorid, mis kvanditakse ning moodustatakse aegtunnus tulpdiagrammid. Seejärel võrreldakse kahe signaali histogrammide omavahelist sarnasus ning piisavalt kõrge sarnasuse korral tagastatakse video päringu vastusena. Kõnealusest meetodist on välja töötatud mitmeid täiendatud versioone parendamaks selle ajalist keerukust [5]. Informedia teadusprojekt, mille raames koostati digitaalne videokogu eesmärgiga välja töötada ning parendada meetodeid videofailide otsinguks ning esitamiseks. Videote otsimiseks niivõrd mahukast andmebaasist kasutatakse laia valikut erinevaid visuaalseid (värvigamma, näod, teksti kohastamine) ning tekstilisi (kõne tekstiks ümberkirjutus) tunnusjooni. Kasutajale püütakse leitud vastetest anda võimalikult informatiivset eelvaadet (ingl k preview), et hõlbustada salvestise sobivuse üle otsustamise protsessi [6]. 1.6. Animatsioonid Kuna vahendid arvutipõhiste animatsioonide loomiseks on juba laialt levinud (näit Flash), siis võib peagi olla võimalik ka sooritada otsinguid mingit kindlat tüüpi animatsioonide järgi näiteks kera keerlemine, palli põrkamine, inimese kõndimine jne Hetkel efektiivsed meetodid tulemuslikuks otsinguks puuduvad, mistõttu on hetkel valdavalt kasutusel märksõnapõhine otsimisviis.
2. Professionaalsed otsinguliidesed Kuna erinevatel inimestel on otsinguliidestele väga erinevad nõudmised, vaatleme järgnevates peatükkides mitmesuguseid keerulisemaid päringuliideseid alternatiiviks tavapärasele vormitäitmisega filtrile. 2.1. Loogilisi avaldisi sisaldavad päringud Mitmed kommertsiaalsed infootsingu süsteemid (DIALOG, FirstSearch) pakuvad võimalust koostada päringuid, kasutades sulge ning loogikaavaldisi. Kuigi loogilised avaldised võimaldavad sooritada oluliselt tulemuslikumaid otsinguid, on nende laiemat levikud pärssinud küllaltki keeruline kasutusviis. Üheks peamiseks segadust külvavaks faktoriks on inglise kõnekeel, kus suupäraseks saanud sidesõnu kasutatakse pisut teisiti, kui formaalses matemaatilises loogikas. Vaatleme näiteks päringut List all employees who live in New York and Boston. Selle päringu vastuseks oleks tavaliselt tühi hulk, kuna sõna and püütakse rakendada kui ühisosa tehet, mistõttu tagastatakse need töötajad, kes elavad samaaegselt nii New Yorgis kui ka Bostonis. Seega on inglise keeles sellel sidesõnal niiöelda laiendav tähendus, samas loogilise tehtena on see aga vastupidiselt kitsendav mõiste. Sarnaselt eelnevale näitele käitub ka järgnevas lauses sidesõna mitmesena I d like Russian or Italian salad dressing. Kõnekeeles kasutatuna omab sõna or nn kitsendatud tähendust sa tahad kas üht või teist salatikastet, aga mitte mõlemat korraga. Loogikas rakendatuna aga omandab see sõna kaasaarvava ja laiendava mõiste. Soov kasutada efektiivsemaid loogikaavaldisi, sealhulgas sulge ning not operaatorit, on viinud mitmete uudsete lähenemisteni päringute kirjapanekuks (Venni diagrammid, otsustustabelid jne), kuid needki esitusviisid on muutunud päringute keerukuse kasvades raskesti jälgitavateks ning kohmakateks. Mõningaid erinevaid loogikaavaldiste kirjapanekuviise otsinguliidestes: Tavapärased inglisekeelsed terminid: AND, OR, NOT (vahel ka AND NOT, NO), grupeerimiseks sulud (), NEAR Sümbolilised tehted: + (and),! (not), - (or, mõnes süsteemis ka not), grupeerimiseks jutumärgid. 2.2. Automaatne filtreerimine Üks võimalus vajalike andmete filtreerimiseks on kasutada kasutajapõhiseid võtmesõnu, mille põhjal süsteem dünaamiliselt otsitava informatsiooni leiab ning edastab. On mitmeid võimalusi:
Kasutajad loovad endale personaalsed profiilid, mida rakendatakse iga uue dokumendi süsteemi lisandumisel. Kui lisatav info vastab mõnele profiilis esinevale võtmesõnale, teavitatakse kasutajat näiteks e-maili teel talle potentsiaalselt huvipakkuvast publikatsioonist. Otsingusüsteem võtab vaikimisi arvesse kasutaja poolt varasemalt tehtud vajutusi ja dokumendite avamisi ning teeb selle põhjal nn järeldusi kasutaja eelistuste kohta. Järgmiste päringute teostamisel võetakse arvesse kasutaja eelistusi ning sellele tuginedes filtreeritakse tagastatavad andmed automaatselt. Käesolev lähenemine on tuntud kui kaasaegne versioon traditsioonilisest infootsingu strateegiast info selektiivne levitus (ingl k SDI selective dissemination of information) ajast, mil dokumente levitati magnetlintidel. 2.3. Dünaamilised päringud Dünaamilisi päringuid võimaldavad kasutajaliidesed pakuvad mitmesuguseid huvitavaid otsimisvõimalusi: Lihtsasti muudetavad väärtusskaalad Alfabeetilised nimede või kategooriate skaalad (ingl k alphaslider) Nupud teatud väiksemate alamhulkade otsimiseks Lihtsamate loogikaavaldiste kasutamine Alphaslider Dünaamilisi päringuid või nimetada ka otsekäsitlusega otsinguteks, kuna iga tegevus saab silmapilkselt visuaalse tagasiside; tegevused on kiired, ühtlaselt kasvavad ning kergesti tagasipööratavad. Lisaks takistab see päringute koostamisel süntaksivigu tegemast ning julgustab otsinguliideses rohkem katsetama. Peamiseks probleemiks osutub suurte andmemahtude mõistliku tagastusajaga sirvimine, kuna hiiglasliku infohulga allalaadimine ning kasutaja arvuti mälus hoidmine ei ole mõeldav. Siinkohal rakendatakse abinõuna päringu eelläbivaatust (ingl k query preview) mille tulemusena kasutaja valib ennem konkreetse päringu sooritamist huvipakkuva teema või kategooria. Mitmed uuringud on tõestanud, et võrreldes tavapäraste blanketi kujul otsinguliidestega on dünaamilised päringuliidesed oluliselt kiiremad ning pakuvad lõppkasutajale kõrgemat isiklikku rahulolu. Üheks sagedamaks dünaamilise päringu otsinguliidese näiteks on erinevates artiklites kasutatud 90-ndate aastate alguses valminud Dynamic HomeFinder süsteemi:
2.4. Otsing kategoriseeritud metaandmetest Kõnealused liidesed ühendavad endas kategooriate põhjal sirvimist ning märksõnade abil otsimist (ingl k faceted metadata search). Metaandmed on grupeeritud hierarhilisse kategooriatesse, võimaldades samaaegselt otsida ka mitmest erinevast kategooriast. Sealjuures on võimalik valitud kategooriat väärtustada kui tüüpilist otsinguatribuuti. Parema ettekujutuse saamiseks toome järgnevalt välja osalise ekraanipildi Flamenco Fine Arts Seach otsinguliidesest [2]:
2.5. Koostöös filtreerimine Koostöös filtreerimine (ingl k Collaborative filtering) on omamoodi sotsiaalne lähenemine filtreerimisele, kuna selle aluseks on grupi inimeste hinnang olemasolevatele dokumentidele hõlbustamaks teistel huvipakkuva informatsiooni leidmist. Iga kasutaja hindab oma huvidest lähtuvalt süsteemis leiduvaid artikleid ning nende summaarsete hinnangute põhjal püüab otsinguliides sarnaste huvidega inimesele soovitada seni lugemata dokumente. Probleemiks kõnealuse meetodi puhul võib kujuneda hinnangute nn usaldusväärsus et teha vähegi tõsiseltvõetavaid järeldusi, peab hinnanguid/hindajaid ning erinevaid väärtustusvõimalusi olema piisavalt palju. Kirjeldatud otsingusüsteem on leidnud tänapäeval üsna laia kasutuspinna ning seda kasutatakse edukalt näiteks filmide, raamatute, muusika, restoranide, hotellide ja paljude muude valdkondade otsinguliidestes. 2.6. Mitmekeelne otsing Teatud situatsioonides tekib kasutajatel vajadus otsida andmeid mahukatest mitmekeelsetest kogudest. Tänapäeva veebipõhised otsingumootorid pakuvad veel väga algelisi tõlkevahendeid, kuid esimesed mitmekeelsete infosüsteemide prototüübid lubavad kasutajal valida meelepäraseid sõnaraamatuid, kitsendada märksõna erinevaid tõlkevõimalusi ning kasutada võimsaid tõlkesüsteeme. Antud hetkel on selle meetodi realisatsiooni peamiseks takistuseks piisavalt efektiivsete ja korrektsete transleerimisvahendite puudumine. 2.7. Visuaalne otsing Erinevate otsinguparameetrite käsitsi kirjeldamist võib mõningatel juhtudel lihtsustada nende võimalike väärtuste visuaalse esituse abil. Näiteks valida kuupäeva spetsiaalsest kalendrist või istekohta lennukis selle visuaalse plaani järgi on tunduvalt lihtsam ja mugavam. Samuti kvalifitseeruvad siia kategooriasse erinevad kaardid, millel kasutaja saab soovitud sihtpunktil hiirekursoriga klikkides täpsema vaate valitud asukohast. Visuaalsed otsinguliidesed varustavad kasutaja erinevate valikuvõimalustega ning on atraktiivsed, aidates hõlpsamini paika panna otsija vajadusi ning limiteerivad veaohte päringute tegemisel. Üheks huvitavaks visuaalse otsingumootori näiteks on Kasutatud kirjandus loetelus mainitud Quintura otsinguliides paralleelselt otsinguparameetritel klikkimisega
uuendatakse ka liidese ülaosas asuval Find väljal olevat päringut ning lehe parempoolses sektsioonis päringule vastavaid otsingutulemusi [7]:
Kasutatud kirjandus [1] Ben Shneiderman, Catherine Plaisant Designing the User Interface. Strategies for effective Human-computer Interaction. 4th edition, 2005 [2] Flamenco Fine Arts Seach Engine http://orange.sims.berkeley.edu/cgi-bin/flamenco.cgi/famuseum/flamenco [3] Xiao Mang Shou Handling Collaborative Diagram Databases on the WWW, 2000 [4] Kate Greene Better, More Accurate Image Search - By modifying a common type of machine-learning technique, researchers have found a better way to identify pictures, 2007 [5] T. Kurozumi, K. Kashino, H. Murase A method for robust and quick video searching using probabilistic dither-voting [6] Informedia Digital Video Library http://www.informedia.cs.cmu.edu/ [7] Quintura Visual Search Engine http://www.quintura.com/