thorarinn.com

Nørd

30. janúar 2006 | 2 aths.

Samkvæmt umferðargreiningum hefur töluvert hátt hlutfall heimsókna á thorarinn.com alveg frá upphafi verið af völdum leitarvéla og annarra róbóta sem heimsækja vefinn reglulega og afrita fyrir gagnasöfnin sín. Þar sem mig langaði að fá skýrari yfirsýn yfir það hvernig og hvenær þessir róbótar kæmu í heimsókn lagðist ég í smá fikt.

Undanfarnar vikur hef ég tékkað á uppgefnum "user agent" í hvert sinn sem beðið er um forsíðuna (strangt til tekið sér vefþjóninn um þetta tékk, en það er aukaatriði). Byggt á þessu er síðan hægt að bera saman fyrir hvern sólarhring hver skiptingin hefur verið á milli mannlegra gesta og þekktra róbóta.

Ég hef reynt að setja þetta upp eins snyrtilega sjónrænt og mér er unnt, súlurnar sýna hlutfallið milli mannlegra gesta og vélmenna, með því að setja músina yfir hverja súlu má sjá hvaða dag um ræðir, nákvæmt hlutfall og samtölu "sýna".

Frá og með núna hef ég útvíkkað þetta aðeins þannig að nú tékka allar síður á vefnum á því hvers eðlis gesturinn er, það er því við því að búast að heildarfjöldinn að baki hverjum degi aukist nokkuð, en ég geri ekki ráð fyrir að það eitt og sér verði til þess að hlutföllin breytist merkjanlega.

En af hverju?

Eins og með margt fikt liggur sjarminn í fiktinu sjálfu, en ég er forvitinn að vita hvort leitarvélarnar koma á nokkurra daga fresti og soga þá í sig helling og draga sig í hlé, eða hvort heimsóknir þeirra eru jafndreifðari.

Það er líka fróðlegt að geta tengt saman umferð innan hvers dags og þetta hlutfall til að sjá hvort álagstoppar stafa af tilviljunakenndri umferð róbóta eða af mannlegum áhuga.

Enn meira tækniþvaður

(Lesendum sem meta geðheilsu sína er eindregið ráðlagt að lesa ekki lengra nema að vera mjög nördalega innrættir).

Lógíkin gengur út á það að eftir að viðkomandi síðu hefur verið púslað saman og vefþjóninn byrjar að senda hana af stað er lesið út úr http-strengnum hver uppgefinn "user-agent" sé.

Ég nota regular expression til að sortera burt allar leitarvélar sem ég þekki (byggt á grúski í umferðartölum og reynslunni af þessum mælingum undanfarnar vikur). Óþekktir "agentar" fá að njóta vafans og eru skráðir sem mannlegir (auk þess sem ég tek niður nafn og númer til að geta fínstillt dæmið).

Til að létta á vefþjóninum er sjálf birtingin lesin upp úr millitöflu þar sem ég safna saman niðurstöðum hvers dags. Sú millitafla á að uppfærast við fyrstu síðusýn eftir að sólarhringur er liðinn frá síðustu uppfærslu.

Miðað við nokkuð jafndreifða umferð ætti því millitaflan að uppfærast fljótlega eftir miðnætti að íslenskum tíma.

Ég er búinn að vera í svolitlu brasi með að fínstilla þetta allt saman, þar sem klukkan á vefþjóninum er á amerískum tíma og tilraunir til að láta vefþjóninn umreikna sig elegant yfir í GMT hafa farið í handarskolum. Ég bæti því bara við 8 klukkustundum við serverklukkuna til að athuga hvort kominn sé tími til að uppfæra millitöfluna.

Sjálf skiptingin milli daga er byggð á tímastimplum hverrar sýnar, þannig að jafnvel þótt uppfærslan dragist aðeins fram yfir miðnættið safnar hún bara saman færslum gærdagsins.

Ég er reyndar ekki búinn að sannreyna þetta eftir að ég lagaði tímaruglið, en ég á síður von á því að það fái vefþjóninn til að hrynja á næsta miðnætti. Þó veit maður auðvitað aldrei...

Þetta hefur verið ágæt upprifjun á gömlum forritunartöktum, mitt fyrsta verk í lokaverkefninu verður að leggjast í Flash-forritun og lítur út fyrir að það verði nørd mikið og ógurlegt.