AWK Aho Weinberger Kernighan struktuurse teksti töötlemise keel rikkalikult tekstitöötlusvahendeid omal alal suhteliselt lihtne ja kiiresti realiseeri

Väljavõte

1 AWK Aho Weinberger Kernighan struktuurse teksti töötlemise keel rikkalikult tekstitöötlusvahendeid omal alal suhteliselt lihtne ja kiiresti realiseeritav

2 AWK kasutusalad raportite genereerimine ühest formaadist teise konvertimine arvuliste andmete matemaatiline (statistiline) töötlemine lihtsate tekstil baseeruvate andmete/andmebaaside haldamine

3 AWK 1977 AT&T Bell Labs uus versioon, mitmed täiendused, SVR 3.1 SVR 4, POSIX standardid GNU Awk, gawk - P.Rubin, A. Robbins nawk vs. oawk mawk - M. Brennan

4 awk programmi üldkuju: tingimus { käsud } tingimus { käsud }... tingimused jaotuvad: otsingusõna (/otsisõna/) loogiline avaldis ( MYVAR > 2 ) spetsiaalkonstruktsioon (BEGIN, END) vahemik ( tingimus1, tingimus2 )

5 awk iga sisendrea korral vaadatakse kõiki tingimusi kui tingimus on täidetud, täidetakse vastav käsublokk tühi tingimus on täidetud

6 awk käivitamine: > awk 'programm' fail1 fail2.. > awk -f programmfail sisendfailid käsurealt käivitades oluline jälgida ', tasakaalu

7 awk - esimesed sammud BEGIN { print Tere! } { print } NR > 2 && NR < 5 {print} /märts/ {loendur++} # kommentaar

8 esimesed näited awk

9 gawk - muutujad sissehitatud muutujad FS, OFS - väljaeraldaja RS, ORS - kirjeeraldaja ARGC, ARGV - (käsurea)argumendid NF - veergude arv NR - rea (kirje) number $1 - $N - veergude väärtused $0 - terve sisendkirje Näide

10 gawk - muutujad väärtustamine muutuja = väärtus kasutamine: { print muutuja } väärtustamisoperaatorid: muutuja++ muutuja-- ++muutuja muutuja+=avaldis

11 gawk - massiivid väärtustamine massiiv[indeks]=väärtus kasutamine {print massiiv[indeks]} kontrollimine indeks in massiiv delete Näide

12 gawk - regulaaravaldised otsisõne - regulaaravaldisena /märts apr/ {print mingiveerg} standardsed regulaaravaldised + laiendused loogiline operaator ~ avaldis ~ /regavaldis/

13 gawk - tõeväärtused mitte-null, mitte-tühi: tõene null, tühi: väär && - loogiline JA - loogiline VÕI! - eitus Näide

14 gawk - sisendi lugemine sisendfailide järjekord muutuja FILENAME sisendkirjed ja RS sisendväljad ja FS eraldajad mittekonstantne indeks {print $(2+2)}

15 gawk - funktsioone print printf - C stiilis next järgmine kirje nextfile järgmine fail exit

16 gawk funktsioone mat. funktsioonid int,sqrt,sin,rand jms sõnetöötlusfunktsioonid length, index, match, split, sub, substr jms sisend-väljund close, system bititasemel loogika and, or, xor, not, lshift...

17 gawk - konstruktsioone if (tingimus) käsk else käsk while (tingimus) käsk

18 gawk - konstruktsioone for (algv; lõpp; suurend) käsk for (muutuja in massiiv) käsk do käsk while (tingimus)

19 gawk - konstruktsioone for, while, do-while: break continue

20 gawk - konstruktsioone switch (avaldis) { } case väärtus: käsk default: käsk

21 gawk - kasutussoovitusi awk sobib ennekõike siis, kui ühes sisendreas täpselt üks sisendkirje tuleb harjuda põhimõttega, et (peaaegu) kõik read täidetakse iga sisendrea korral uuesti vahel on kasulik kirjutada oma awk-programmile sh-mähis interpreteeritav keel - ei sobi väga mahukateks projektideks

22 gawk: kasutaja funktsioonid defineerimine definitsioon võib asuda koodis suvalises kohas defineerimise järjekord pole tähtis function funktsiooni_nimi(param) { } sisu

23 gawk:kasutaja funktsioonid parameetrid argumendid kohalikud muutujad function linkprint(a,b, c) { } c="fail: %s \t Linke: %d\n" printf c,b,a

24 gawk:kasutaja funktsioonid välja kutsumine $2 > 1 {linkprint($2,$9)} Näide parameetriks muutuja: call by value parameetriks massiiv: call by reference Näide

25 gawk: kasutaja funktsioonid väärtuse tagastamine return avaldis return ilma avaldiseta: funktsiooni töö lõpetatakse, tagastusväärtus defineerimata return puudub: awk eeldab, et kutsuti return ilma avaldiseta Näide

26 gawk:tekstitöötlusfunktsioone asort(array) - sortimine index(in,find) - alamsõne find algusindeks sõnes in length(string) - sõne pikkus match(string, regex) - reg. avaldisele vastava alamsõne (vasakult poolt, pikim) indeks split(string,array,sep) - tükeldab sõne, eraldajaks sep, tulemus massiivi

27 gawk:tekstitöötlusfunktsioone strtonum(string) sõne arvuks sub(regexp, asendus, string) asendab stringis reg. avaldisega vasakpoolseima leitud otsisõne gsub(regexp,asendus,string) asendab kõik leitud mittekattuvad otsisõned

28 gawk:tekstitöötlusfunktsioone substr(string, start, length) kindla pikkusega/positsiooniga alamstringi leidmine tolower(string), toupper(string) suurtähtede/väiketähtede konversioon

29 gawk: printf printf vorming,muutujad/avaldised { p= kolmapäev n=3 printf Täna on:%s, see on %d. päev nädalas,p,n }

30 gawk: printf { fmt= Täna on:%s, see on %d. päev nädalas,p,n p= kolmapäev printf fmt,p,1+2 }

31 gawk:printf vorming võib sisaldada: tavaline tekst vorminguelemendid näitab, kuhu asendada parameetriks olevad muutujad, kuidas neid vormindada vormingulemente: %d - täisarv %s - string %f - ujukomaarv

32 gawk:printf vorminguelementidele saab anda täpsustusi: %.10d - täisarv, min. 10 kohta %.10f - ujukomaarv, vähemalt 10 kohta peale koma %10s - string, minimaalselt 10 märki lai %.10s - string, maksimaalselt 10 märki lai %s$2 - positsiooniline täpsustus, kasutatakse muutujat/avaldist, mis on antud teise parameetrina peale vormingut

33 gawk:printf sprintf printf stringi Näide

34 gawk:profileerimine lihtne gawk profileerija: pgawk loendab iga käsu / konstruktsiooni väljakutseid tingimuslausete ja reg. avaldiste puhul kaks näitajat: väljakutsete arv tingimuse täidetuste arv väljund ümberformaaditud

35 gawk:profileerimine pgawk -f programm andmefail väljund awkprof.out pgawk -W profile=proffail -f programm andmefail

36 gawk:profileerimine kasulik testimisel kas testikomplekt on piisav, läbitakse iga koodirida? kasulik optimeerimisel millises koodi osas veedetakse rohkem samme (aega pgawk kahjuks ei mõõda) Näide

37 gawk:getline paindlik, sõltumatu sisendi lugemine algaja võiks esialgu hoiduda, vähemalt teatud vormidest ilma argumentideta: loeb järgmise kirje kohe getline väärtustab $0, NF, FNR, NR lugemine muutujasse getline var Väärtustab var, FNR, NR

38 gawk:getline lugemine failist: loeb järgmise kirje failist getline < file väärtustab $0, NF lugemine failist muutujasse: loeb järgmise kirje failist muutujasse getline var < file väärtustab var

39 gawk:getline lugemine torust: command getline väärtustab $0,NF lugemine torust muutujasse: command getline var väärtustab var

40 gawk:getline lugemine kahepoolsest torust: command & getline väärtustab $0, NF lugemine kahepoolsest torust muutujasse: command & getline var väärtustab var

41 gawk:kahesuunaline toru suhtlemiseks välise programmiga saab anda välisele programmile sisendit saab lugeda selle programmi väljundit käsk & välineprogramm välineprogramm & käsk

42 gawk:kahesuunaline toru BEGIN { kask= bc printf %d+%d\nquit\n,3,3 & kask kask & getline vastus print vastus } Näide

43 gawk:kahesuunaline toru kergesti võib tekkida lukusituatsioon teised osapooled ei pruugi oma väljundpuhvrit tühjendada (flush) meie programm ootab väliselt programmilt sisendit, kuid see on väljundpuhvrist väljundisse lükkamata väline programm ootab meiepoolset tegutsemist

44 gawk:kahesuunaline toru lahendusi lukusituatsioonile kogu sisend ühe korraga ja seejärel toru ühepoolselt kinni: sunnib välist programmi väljundpuhvrit tühjendama võimalusel kirjutada väline programm nii, et see tühjendaks väljundpuhvri gawk tühjendab & puhul puhvri, muu väljastamise korral tuleb kutsuda funktsiooni fflush()

45 gawk:kahesuunaline toru Näide: 2 gawk programmi suhtlevad käikude haaval, üks käik tähendab vastasele mingi arvu ütlemist, kusjuures arv peab olema suuremvõrdne vastase eelmisest käigust.