Regressioonanalüüsi kodutöö Indrek Zolk 30. mai a. 1 Andmestiku kirjeldus Käesoleva kodutöö jaoks vajalik andmestik on saadud veebiaadressilt ht

Väljavõte

1 Regressioonanalüüsi kodutöö Indrek Zolk 30. mai a. 1 Andmestiku kirjeldus Käesoleva kodutöö jaoks vajalik andmestik on saadud veebiaadressilt Tegemist on aastal ilmunud raamatus esineva ja statistikas õppenäitena laialt kasutatava Laengelmavesi järvest (Tampere lähistel Soomes) püütud 7 erinevat liiki kalade andmetega. Meie valime uuritavaks kalaks latika. Valimi maht on 37 latikat, kuid ühel kalal pole massi mõõdetud, seetõttu arvame ta valimist välja. Analüüsitavaks valimiks võtame järelikult 36 latikat. Kuigi lähteandmestik sisaldab terve rea tunnuseid, kasutame neist kaht: latika mass (grammides) ja pikkus ninaotsast sabaotsani (sentimeetrites). Valime pikkuse seletavaks ja massi uuritavaks tunnuseks. Sel viisil määrates võib tulemustest kasu olla näiteks kalameestele või kala töötlemisega tegelevatele isikutele latika massi kiireks hindamiseks. Sisendfaili nimi on fishcatch.dat. Andmete analüüsimiseks kasutame statistikapaketti R, eelnevaks töötlemiseks aga UNIXi käsurea vahendeid. Käesolev tekst on vormistatud tekstikujundussüsteemis L A TEX. Vahendite suhtelise vähetuntuse tõttu eesti arvutialases kirjanduses toome lisas ka vastavad skriptifailid. 2 Statistikute hinnangud Latikate massi keskväärtuse punkthinnanguks on 626 grammi, usaldusvahemik ( , ) katab parameetrit tõenäosusega Latikate massi dispersiooni punkthinnanguks on (standardhälbe hinnang vastavalt ), usaldusvahemik ( , ) katab parameetrit tõenäosusega Histogrammist näeme, et latikate mass on ligikaudu normaaljaotusega (vaatlusi on vähe, seetõttu ei saa ilusat kellukesekujulist histogrammi oodatagi). latikaid Latikate masside histogramm mass [g] 1

2 latikaid Latikate pikkuste histogramm pikkus [cm] Latikate pikkuse keskväärtuse punkthinnanguks on grammi, usaldusvahemik ( , ) katab parameetrit tõenäosusega Latikate pikkuse dispersiooni punkthinnanguks on (standardhälbe hinnang vastavalt ), usaldusvahemik ( , ) katab parameetrit tõenäosusega Histogrammist näeme, et latikate pikkus on ligikaudu normaaljaotusega. Latikate massi ja pikkuse korrelatsioonikordaja on , mis näitab tugevat positiivset korrelatsiooni tunnuste vahel ja ennustab hea mudeli saamist. 3 Lineaarse regressiooni mudel Eeldusel, et andmed on sobival kujul (vt. lisa), saame paketis R järgmise väljundi: lm(formula = kalad$mass ~ kalad$pikkus) Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-14 *** kalad$pikkus < 2e-16 *** Residual standard error: on 32 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 1 and 32 DF, p-value: < 2.2e Signif. codes: 0 *** ** 0.01 * Analysis of Variance Table Response: kalad$mass Df Sum Sq Mean Sq F value Pr(>F) kalad$pikkus < 2.2e-16 *** Residuals % 97.5 % (Intercept) kalad$pikkus Siit loeme välja, et lineaarse regressiooni mudeli parameetrite punkthinnangud on: ˆα = , ˆβ = , ˆσ 2 = 3117, usaldusvahemikud ( , ) ja ( , ) katavad tõenäosusega 0.95 vastavalt parameetrit α ja β, ning mudeliks on mass = pikkus, ( ) 2

3 kusjuures mõlemad liikmed on olulised (olulisuse märgendiks on pakett R suuruste Pr(> t ) väiksuse põhjal andnud ***, s.t. maksimaalse võimaliku). Uuritava tunnuse sõltuvus seletavast tunnusest on oluline, sest kordaja β on mudelis oluline. Mudel kirjeldab ligi 93% tunnuse varieeruvusest (R-ruut statistik), seega on tegemist võrdlemisi hea mudeliga. Nagu näha kordaja ˆβ märgist, on sõltuvus positiivne. Ühe sentimeetri latika pikkuse kasvades kasvab mass keskmiselt grammi. Mudeli puhul tuleb muidugi silmas pidada, et negatiivse vabaliikme tõttu ei saa prognoosida väga lühikeste latikate masse (taolisi looduses peaaegu ei eksisteerigi) sest mudel annaks nende massiks negatiivse suuruse. Parameetri β usaldusvahemiku poolpikkus võimaldab näiteks tõenäosusega 95% öelda, et ühe sentimeetri latika pikkuse kasvades kasvab mass ± grammi. Hajuvusdiagrammil on pideva sirgega märgitud mudelile ( ) vastav regressioonsirge ja punktiiriga massi keskväärtuse punkthinnang. pikkus * mass hajuvusdiagramm mass [g] pikkus [cm] Prognoosides massi näiteks pikkuse keskväärtuse punkthinnangu korral, saame massiks = grammi, s.t. täpselt massi keskväärtuse punkthinnangu. 3

4 Lisa Sisendfaili kuju Sisendfail fishcatch.dat on järgmisel tekstilisel kujul: NA NA NA NA NA Teises veerus on märgitud kala liik (latikas=1), kolmandas mass ja kuuendas pikkus ninast sabaotsani. Ülejäänud veerud pole analüüsiks momendil olulised. Sisendfaili eeltöötlus tekstitöötluskeeles awk Faili tunnused.awk sisu: BEGIN{ OFS="\t"; print "MASS", "PIKKUS" { if ($2=="1") { print $3, $6 Skript on vajalik sisendfailist ainult kahe tunnuse eraldamiseks ainult nende vaatluste korral, kus teises veerus paikneb arv 1 (latikas). Andmete töötlemine statistikapaketis R Faili andmed.r sisu: require(boot) data <- read.table("kalad.txt", header=true) data <- na.omit(data) kalasid <- nrow(data) 4

5 kalad <- list(mass=data[,1], PIKKUS=data[,2]) mass.k <- mean(kalad$mass) mass.d <- var(kalad$mass) mass.k # NB! mass.d on s^2 kalade massi jaoks. Keskväärtuse mass.k # dispersiooni hinnangu saamiseks (var.t0) tuleb jagada kalade arvuga norm.ci(t0=mass.k, conf=0.95, var.t0=mass.d / kalasid) mass.d sd(kalad$mass) norm.ci(t0=mass.d, conf=0.95, var.t0=mass.d / kalasid) pikkus.k <- mean(kalad$pikkus) pikkus.d <- var(kalad$pikkus) pikkus.k norm.ci(t0=pikkus.k, conf=0.95, var.t0=pikkus.d / kalasid) pikkus.d sd(kalad$pikkus) norm.ci(t0=pikkus.d, conf=0.95, var.t0=pikkus.d / kalasid) graphics.off() postscript("massihist.ps") plot(hist(kalad$mass, plot=false), main="", xlab="", ylab="") title("latikate masside histogramm", cex.main=3, xlab="mass [g]", ylab="latikaid") postscript("pikkushist.ps") plot(hist(kalad$pikkus, plot=false), main="", xlab="", ylab="") title("latikate pikkuste histogramm", cex.main=3, xlab="pikkus [cm]", ylab="latikaid") cor(kalad$mass,kalad$pikkus) mudel <- lm(kalad$mass ~ kalad$pikkus) summary(mudel) anova(mudel) piirid <- confint(mudel, level=0.95) piirid (piirid[4]-piirid[2])/2 postscript("regmudel.ps") plot(kalad$pikkus,kalad$mass, main="", xlab="", ylab="") title("pikkus * mass hajuvusdiagramm", cex.main=2.5, xlab="pikkus [cm]", ylab="mass [g]") kordajad <- coef(mudel) lines(kalad$pikkus,kordajad[1]+kordajad[2]*kalad$pikkus) lines(kalad$pikkus,array(mass.k, c(1,kalasid)),lty=2) kordajad[1]+kordajad[2]*pikkus.k Koduülesande kompileerimine Faili compile sisu: awk -f tunnused.awk fishcatch.dat > kalad.txt R --quiet --no-save < andmed.r latex regan.tex dvips regan.dvi -o regan.ps gs -q -sdevice=pdfwrite -soutputfile=regan.pdf -spapersize=a4 -dnopause -dbatch regan.ps Koduülesande pdf-väljundi saamiseks piisab seega UNIXi käsurealt anda käsk./compile, eeldusel, et jooksvas kataloogis on ülalnimetatud neli faili ning käesolev algtekst regan.tex. 5