AMB_Loeng1_andmed_a

Väljavõte

1 Andmeanalüüs molekulaarbioloogias LOMR nädal Loeng: Töökorraldus ja materjalid Teaduslik mõtteviis Andmete tüübid Andmete varieeruvuse kirjeldamine Praktikum: Sagedusjaotuste joonistamine Maido Remm

2 Töökorraldus 5 nädalat loengut ja praktikume + 1 proovieksam koos tulemuste arutelu ja kordamisega. Aine hinne kujuneb eksami punktidest (0-100). Lisapunkte on võimalik saada küsimuste küsimise eest loengus (1 punkt inimese kohta igas loengus). Eksam sisaldab ainult praktilisi ülesandeid, aeg on limiteeritud (1 tund ja 45 minutit). Eelnevalt teeme proovieksami ( ) koos tulemuste aruteluga. Toimub ainult üks korduseksam F-idele ja mitteilmunuile. Potentsiaalsed eksamiajad on järgmised: E kell T kell

3 Peamiseks õppematerjaliks on raamat: Õppematerjalid Harvey Motulsky: Intuitive Biostatistics: A Nonmathematical Guide to Statistical Thinking (2009) Vajalikud raamatute peatükid on kättesaadavad aadressil: kasutajanimi: kursus salasõna: amb2013 Loengute slaidid ja praktikumide materjalid veebilehel

4 Praktikum Praktikumis (ja eksamil) vajalik arvuti ning programm OpenOffice või Excel INSTALLEERIGE SEE ENDA ARVUTISSE Praktikumi peamine eesmärk on harjutada eksamil vaja minevaid oskusi.

5 Esimese nädala teemad 1. Mida kujutab endast teaduslik (tõenduspõhine) uurimistöö 2. Miks on teaduslikus töös vaja hüpoteese? 3. Andmete tüübid 4. Andmete varieeruvus ja selle visualiseerumine

6 Tähelepanek Teaduslik (tõenduspõhine) mõtteviis Uurimisküsimus Testitava hüpoteesi sõnastamine Teaduslikus mõtteviisis on kesksel kohal hüpoteeside testimine. Hüpoteesi kontrollimine (katse või vaatlus) Artikkel Üldistav teooria

7 Tähelepanek Maratonijooksjate hulgas on palju tuttavaid TÜ-st Uurimisküsimus Kas ja kuidas on maratoni jooksmine seotud intelligentsusega? Hüpoteetiline näide hüpoteeside testimisest Testitava hüpoteesi sõnastamine 1 Hariduse omandamiseks kulutatud aastate arv kahel inimeste grupil: [jooksjad] vs [mitte-jooksjad] EI OLE ERINEV Testitava hüpoteesi sõnastamine 2 Kas hariduse omandamiseks kulutatud aastate arv kahel inimeste grupil: [pikamaajooksjad] vs [muude spordialadega tegelejad] EI OLE ERINEV Testita sõna Kas harid kulutatu inim [pikamaaj spordia EI Hüpoteesi kontrollimine 1 Hüpoteesi kontrollimine 2 Hü kontr Teaduslikus mõtteviisis on kesksel kohal hüpoteeside testimine. Artikkel

8 Teaduslik (tõenduspõhine) mõtteviis Tähelepanek Hüpoteesivabad meetodid (andmeteadus) Uurimisküsimus Testitava hüpoteesi sõnastamine Hüpoteesi kontrollimine (katse või vaatlus) Andmetöötluse programmid (mustriotsing, visualiseerimine, vms) kasutavad andmete ikkagi töötlemisel hüpoteese, kuid programmide kasutaja ei pruugi neid näha (implicit hypothesis vs explicit hypothesis) Artikkel Üldistav teooria

9 2. Miks on vaja testitavaid hüpoteese? Miks on vaja sõnastada numbriliselt testitav hüpotees? Inimese aju ei ole harjunud mõtlema tõenäosustest. Inimese aju on ehitatud nii, et suudaks kergesti leida andmete hulgas mustreid. Inimese aju teeb otsuseid enamasti liiga kiiresti, enesekindlalt ja optimistlikult.

10 Inimese aju ei ole harjunud mõtlema tõenäosustest. Liituge Starmani DigiTV-ga ja teil on võimalik võita pilet Arsenali ja Manchester United i mängule. Tellige ajaleht Eesti Ekspress vähemalt kolmeks kuuks ja võite võita tasuta reisi Uus-Meremaale koos kaaslasega. Head and Shoulders vähendab kõõma kuni 100%.

11 Milliseid lahendusi pakub andmete analüüsimiseks statistika? Statistika annab andmete analüüsijale mõned tööriistad hindamaks leitud tulemuse usaldusväärtust. Peamine statistika abil lahendatav küsimus on: Kas saadud tulemus võis olla juhus? Seega kaitseb statistika meid ennatlike, liiga lihtsustatud järelduste tegemise eest olukorras, kus see ei ole põhjendatud.

12 Teadus vajab usaldusväärsust Teaduslik mõtteviis on ratsionaalne, põhinedes loogikal ja statistikal. Igal teaduslikul järeldusel peab olema faktiline kinnitus. Teaduses ei saa järeldusi teha esmase mulje või uskumise põhjal. Kui osad teadlased ei pea teaduslikust mõtteviisist kinni, muutub teatud hulk teadustulemustest ebausaldusväärseks. Kui teatud hulk teadustulemustest on ebausaldusväärne, siis ei saa enam ühtegi teadustulemust usaldada. Kui teadustulemused ei ole usaldusväärsed, siis pole teaduse järgi enam vajadust.

13 Kokkuvõtteks: Andmete kogumisel ja analüüsimisel tuleb järgida kindlaid reegleid, sest: 1. Inimese aju ei ole harjunud mõtlema tõenäosustest. 2. Inimese aju on ehitatud nii, et suudaks kergesti leida andmete hulgas mustreid. 3. Inimese aju teeb otsuseid enamasti liiga kiiresti, enesekindlalt ja optimistlikult. Statistiline mõtteviis kaitseb meid liigoptimistlike järelduste eest.

14 3. Andmete tüübid Analüüsimise meetod sõltub sellest, millist tüüpi on meie poolt kasutatavad andmed: Kas uuritavat objekti iseloomustavad tunnused on väljendatavad arvude või sõnadega? Kui sõnadena, siis kas need on järjestatavad?

15 Põhilised muutujate tüübid Nimetatavad (Nominal, Categorical) - lihtsaim alamtüüp on binaarne muutuja (kaks võimalikku olekut) Järjestatavad (Ordinal) Pidevad (Continuous)

16 Mida võib teha erinevat tüüpi muutujatega? Saab arvutada: Nimetatav (nominal) muutuja Järjestatav (ordinal) muutuja Pidev (continuous) muutuja Liita ja lahutada EI EI JAH Jagada ja korrutada EI EI JAH/EI Mediaan, kvartiilid, protsentiilid Keskväärtus, standardhälve, standardviga Tulpdiagramm sagedustega EI JAH JAH EI EI JAH JAH JAH JAH

17 Mis tüüpi on meie muutujad? Muutuja tüüp ei pruugi alati olla üheselt defineeritav. Näiteks värve saab andmestikus kirjeldada nii nominaalse, ordinaalse kui ka pideva muutujana. Muutuja tüübi valik on uurija loominguline otsus. Samas see otsus mõjutab tugevasti kogu järgnevat analüüsi. AMB ainekursuse raames tegeleme peamiselt: binaarsete nominaalmuutujate (JAH/EI) pidevmuutujate (täis- või murdarvud laiemas vahemikus) analüüsimisega.

18 Kokkuvõte muutuja tüüpidest Muutujad võivad olla nominaalset, ordinaalset või pidevat tüüpi. Erinevat tüüpi muutujate jaoks on erinevad analüüsi meetodid.

19 4. Andmete varieeruvus ja selle kirjeldamine Andmete analüüsimiseks tuleb esmalt teadvustada, et igas andmestikus esineb andmete varieeruvus. Varieeruvus on uuritava objekti oluline iseloomustaja. Andmete varieeruvust saab kirjeldada arvuliselt või visuaalselt.

20 Jaotuste kuju ja hajuvuse kirjeldamine Varieeruvuse arvulisel kirjeldamisel on abiks: keskväärtus (mean) mediaan (median) mood (mode) kvantiilid (quantiles) kvartiilid (quartiles) protsentiilid (percentiles) standardhälve (standard deviation)

21 Jaotuste kuju ja hajuvuse kirjeldamine keskväärtus (μ) - aritmeetiline keskmine Inglise keeles average on laiema ja ebatäpsema tähendusega. average = mean or median or mode NB! Aritmeetilise keskmise tähistamiseks on eelistatud sõna mean, mitte average. mediaan - järjekorras keskmine väärtus (mediaanist mõlemal pool asub 50% andmeid) mood - kõige sagedamini esinev väärtus andmestikus Sageli kasutatakse terminit mood ka kohaliku maksimumi kohta, sel juhul on andmestik bi-modaalne või multi-modaalne kvartiilid - järjekorras 1/4 ja 3/4 kohal olevad väärtused protsentiilid - iga sajandiku peal olevad väärtused kvantiilid - üldmõiste kvartiilide, protsentiilide ja teiste analoogsete mõõdikute kirjeldamiseks standardhälve (σ) - räägime järgmisel nädalal

22 Andmete varieerumine Varieeruvuse visualiseerimisel on tavalised viisid: A. kõigi andmete näitamine graafikul B. karpdiagramm ehk boxplot C. tulpdiagramm (histogramm) D. tihedusfunktsioon

23 Andmete visualiseerimine A. Kõigi andmete näitamine N=130 N=12

24 Andmete visualiseerimine B. Karpdiagramm boxplot ehk box-and-whisker blot

25 B.Karpdiagramm Karpdiagramm ehk boxplot sobib hästi ebasümmeetrilise jaotusega andmete visualiseerimiseks NB! Kriipsu ots võib siin tähistada erinevaid asju: min või max väärtusi, 5% ja 95% protsentiile, 1.5 * kvartiilidevahelisest kaugusest või muid väärtusi.

26 Andmete visualiseerimine C. Tulpdiagramm ehk histogramm Mida rohkem tulpi, seda selgemalt on näha andmete jaotus

27 Andmete visualiseerimine D.Tihedusfunktsioon (frequency distribution) Lõpmata paljude andmete korral saab histogrammi tulbad asendada joonega. Nii saame andmete sagedusjaotuse. Paljude andmestike jaotus on kirjeldatav mingi hästi iseloomustatud matemaatilise funktsiooniga (näiteks normaaljaotus, Poissoni jaotus, binoomjaotus). Kui Y-telge teisendada nii, et joone all olev pindala on võrdsustatud 1-ga, siis nimetatakse seda tõenäosuse tihedusfunktsiooniks PDF (või diskreetsete tunnuste korral tõenäosuse massifunktsiooniks PMF). Tihedusfunktsioon annab võimaluse arvutada millise tõenäosusega X teljel näidatud väärtusega objekt andmestikus esineb Sageduste jaotuse histogramm Tihedusfunktsioon

28 Mõned konkreetsed näited Mediaani on kasulik kasutada juhtudel kui jaotus on tugevasti ühes suunas välja venitatud (näiteks palkade iseloomustamisel).

29 Jaotuste kuju ja hajuvuse kirjeldamine Moodi on kasulik kasutada juhtudel kui mood ei lange kokku ei mediaani ega keskväärtusega või juhtudel kui jaotus on bimodaalne (näiteks alustavate advokaatide palkade iseloomustamisel).

30 Näide bimodaalsest andmestikust Lehekülje külastuskordade arv ühe ja sama kasutaja poolt kuu aja jooksul:

31 Kokkuvõte andmete varieeruvusest Andmete analüüsimist tuleb alustada andmete varieerumise kirjeldamisest. Varieeruvust saab kirjeldada arvuliselt ja/või visualiseerimise abil. Andmestikku kirjeldavad järgmised arvulised näitajad: keskväärtus, mood, mediaan, kvartiil, protsentiil, kvantiil, standardhälve.

32 Iseseisev töö Tänase teema paremaks mõistmiseks lugege lisaks: Peatükk 1: Statistics and Probability Are Not Intuitive Peatükk 2: Why Statistics Can Be Hard to Learn Peatükk 7: Graphing Continuous Data Peatükk 8: "Types of Variables" Peatükk 9: "Quantifying Scatter"