Skýrsla um áræðanleikaprófun

Reykjavík 20.02.2003
Áreiðanleikakönnun á þýðingu starfsmatskerfisins SAMSTARF.

Á tímabilinu 8. janúar til og með 17. febrúar 2003 var framkvæmd áreiðanleikakönnun (reliability analysis) á þýðingu starfsmatskerfisins SAMSTARFS.

Framkvæmd könnunar fór þannig fram að 14 starfsmenn voru fengnir til þess að taka þátt í prófuninni.  Þær forkröfur voru gerðar til þátttakenda að þeir hefðu dvalið í Bretlandi í 1 - 2 ár.  Þetta var gert til þess að draga sem mest úr líkum á því að hugsanlegur mismunur á mati á ensku og íslensku væri ekki skýrður með tungumálaskilningi.

Þátttakendur svöruðu spurningunum fyrst á ensku og minnst viku seinna á íslensku. Hvert mat tók að jafnaði eina til tvær klukkustundir.  Vert er að taka það fram að þátttakendur fengu ekki aðra kynningu á starfsmatskerfinu en þá sem hægt er að finna á heimasíðu kjaraþróunardeildar og Sambands íslenskra sveitarfélaga. Það var mat starfsmatsráðgjafa að þetta fyrirkomulag hefði sem minnst utanaðkomandi áhrif á þátttakendur og fyrirframgefnar hugmyndir þeirra á starfsmati (avoiding contamination).  Þessi aðferðarfræði gerði okkur kleift að skoða bæði hvort þýðingin væri að skila sér innihaldslega og eins hver viðhorf (attitude)  þátttakenda væru til starfsmatsins.  Þátttakendur reyndust almennt hrifnir af starfsmatskerfinu og hafa jákvæðar væntingar til þess. Engin/n hafði uppi  efasemdir um starfsmatskerfið eða var neikvæð/ur gagnvart því.

Þátttakendurnir voru beðnir að koma með ábendingar um  spurningar / hjálpartexta sem þeim fannst að orða mætti betur. Eins voru þátttakendur beðnir um að greina frá því ef þeir skildu ekki spurningar. Tekið var sérstaklega mark á athugasemdum þegar þrír eða fleiri komu með sömu ábendingu.  Starfsmatsráðgjafar eru strax farnir að skoða hvernig hægt sé að laga / bæta þessar spurningar / hjálpartexta.  

Munurinn í þessari könnun er almennt 11 – 59 stig sem að okkar mati er ekki mikill munur eða óeðlilegur þar sem forprófun starfsmatkerfisins er sá tími sem hugsaður til þess að aðlaga og beturumbæta kerfið. Almennt er erfitt að meta “nákvæmlega” hvers vegna þessi mismunur kemur fram í svörum þátttakenda milli ensku útgáfunar og þeirrar íslensku. Ekki hvað síst þar sem slíkt mat er eitt helsta vandamálið við mat á hlutlægum mælingum (Gladstein 1984; Golmembiewski, Billingsley and Yeager 1976). Í tveimur tilvikum kom hinsvegar fram verulegur mismunur á svarhneigð á ensku og íslensku (sjá niðurstöður).

Hugsanlega má rekja þennan mun  að einhverju leyti til fljótfærni, takmarkaðs undirbúnings eða lítillar kynningar á starfsmatinu áður en það fór fram.   

Í framkvæmd okkar kom það greinilega fram í samtölum starfsmatsráðgjafa við þátttakendur að starfsmenn höfðu hugsað töluvert um sitt starf frá því þeir svöruðu starfsmatinu á ensku. Þetta getur hafa orsakað að einhverjir þátttakendur hafi endurskilgreint fyrir sjálfum sér einhverja þætti starfs síns og þar af leiðandi svarað spurningunum öðruvísi á íslensku heldur en á ensku. Hér var samt ekki um mjög mikinn mismun að ræða (sjá niðurstöður).  Ákveðið var að bregðast við þessu með því að nota “Cognitive Walkthrough” aðferðina. Hér hjálpar starfsmatsráðgjafi þátttakanda að hugsa þær spurningar „upphátt” sem honum finnst vera óskýrar eða hann á erfitt með að svara.  Þátttakandi er síðan aðstoðaður við að upphugsa þætti / kröfur í hans starfi   (criteria) sem tengjast viðkomandi spurningu. Áður hafði þátttakandi svarað spurningunum alveg óáreittur en þegar þessi tækni var notuð reyndist þátttakendum miklu auðveldara að svara spurningum starfsmatsins.  Hér reynir töluvert á skilning og færni starfsmatsráðgjafa og stéttarfélagsfulltrúa.

Af þessum niðurstöðum má draga þann lærdóm að það er mjög mikilvægt að starfsmenn séu vel undirbúnir áður en þeir fara í starfsmat. Niðurstöðurnar  undirstrika einnig hversu mikilvægt það er að þeir sem að starfsmatinu koma hafi samhljóma skilningi á spurningum starfsmatsins. Skýr viðmið skilin á sama hátt (same mental set) koma í veg fyrir flakk (fluctation) á milli gilda á kvörðum starfsmatskerfisins.  Eitt helsta vandamálið hjá nokkrum sveitarfélögum í Bretlandi var einmitt skortur á sameiginlegum skilningi sem tafði fyrir framkvæmd starfsmats hjá þeim (EO).

 Starfsmatsteymi.