Normiryhmät: näin tulkitset testin pistemäärän
Pistemäärä 27/40 kertoo vähän, ennen kuin tiedät, mihin sitä verrataan. Tämä opas selittää normiryhmät ja normiasteikot sekä sen, miten testin pistemäärää luetaan lukematta siihen liikaa.
Lyhyesti
- Raakapistemäärä saa merkityksen vasta, kun sitä verrataan selkeästi kuvattuun normiryhmään.
- Persentiilit, sten- ja staniinipisteet sekä T-pisteet ilmaisevat saman sijainnin eri asteikoilla; persentiilien välit eivät ole yhtä suuria.
- Oikea normiryhmä vastaa arvioitavien ihmisten tasoa, maata, kieltä ja testausolosuhteita.
- Tarkista normin koko, koostumus, ajankohta ja keruutapa teknisestä käsikirjasta.
- Henkilövalinnassa erilliset normit sukupuolen tai muun suojatun ryhmän mukaan eivät yleensä ole ratkaisu; tarkastele sen sijaan vinoumia.
Raakapistemäärä tarvitsee vertailuryhmän
Raakapistemäärä on kykytestissä oikein vastattujen tehtävien määrä tai persoonallisuusasteikossa vastausten summa. Sellaisenaan se kertoo vähän: 27/40 voi olla vahva tulos vaikeassa testissä ja tavallinen tulos helpossa, eikä persoonallisuusasteikossa ole lainkaan oikeaa kokonaismäärää.
Normit muuntavat raakapistemäärän sijainniksi viiteryhmässä, eli ihmisten joukossa, jotka ovat tehneet saman testin vastaavissa olosuhteissa. Sijainti on suhteellinen. Se kertoo, miten henkilö vertautuu kyseiseen ryhmään, ei sitä, sopiiko hän tehtävään. Soveltuvuus riippuu siitä, mitä tehtävä edellyttää, ja näytöstä siitä, että testi ennustaa olennaisia asioita (katso reliabiliteetti ja validiteetti).
Normiasteikot ja niiden väliset suhteet
Useimmat normiasteikot ilmaisevat saman asian: kuinka kaukana pistemäärä on normiryhmän keskiarvon ylä- tai alapuolella keskihajonnoissa (SD) mitattuna. Ne eroavat toisistaan keskiarvon, hajonnan ja tarkkuuden osalta.
- z-pisteet: keskiarvo 0, SD 1. Muiden asteikkojen perusta, raporteissa harvoin näkyvissä.
- T-pisteet: keskiarvo 50, SD 10. Noin kaksi kolmasosaa normiryhmästä sijoittuu välille 40–60.
- Sten-pisteet: 1–10, keskiarvo 5,5, SD 2. Yleisiä persoonallisuusraporteissa.
- Staniinit: 1–9, keskiarvo 5, SD 2. Yleisiä kykytesteissä.
- Persentiilit: se prosenttiosuus normiryhmästä, joka sai matalamman pistemäärän. Havainnollisia, mutta välit eivät ole yhtä suuria.
Käsittele persentiilejä varoen
Persentiilit venyttävät eroja jakauman keskellä ja puristavat niitä ääripäissä. Siirtyminen 50. persentiilistä 60. persentiiliin vaatii pienen eron raakapisteissä; siirtyminen 90. persentiilistä 99. persentiiliin vaatii suuren. Älä siis laske persentiilien keskiarvoja. Karkeammillakin asteikoilla, kuten sten-asteikolla, yhden pisteen ero kahden hakijan välillä jää usein mittausvirheen sisään.
Pistemäärän selittäminen rekrytoivalle esihenkilölle
Persentiilit ovat yleensä helpoimpia: sadasta tämän vertailuryhmän ihmisestä noin 80 sai matalamman pistemäärän. Nimeä ryhmä samassa lauseessa ja mainitse virhemarginaali: pistemäärä on arvio, ja raportin luottamusväli näyttää, missä todellinen pistemäärä todennäköisesti on. Persoonallisuusasteikoista kannattaa lisätä, ettei korkea tai matala ole sinänsä hyvä tai huono.
Kuvitteellisessa numeerisen päättelyn testissä on 40 tehtävää, ja hakija vastaa oikein 27:ään. Yleiseen työssä käyvän väestön normiin verrattuna tulos on 80. persentiili (T-pisteet 58, sten 7, staniini 7). Korkeakoulutettujen hakijoiden normiin verrattuna sama raakapistemäärä on 55. persentiili (T-pisteet 51, sten 6, staniini 5). Laajaan väestöön verrattuna hakija on selvästi keskiarvon yläpuolella; korkeakoulutettujen hakijoiden joukossa lähellä keskiarvoa. Se, kumpi vertailu on olennainen, riippuu siitä, keiden kanssa hakija kilpailee. Luvut ovat havainnollistavia, ja niissä oletetaan normaalijakauma.
Oikean normiryhmän valinta
Valitse ryhmä, johon todella haluat ihmisiä verrata.
- Yleinen tai työssä käyvä väestö: hyödyllinen laajassa seulonnassa ja kehittämisessä, mutta vaativampien tehtävien valinnassa se saa lähes kaikki näyttämään keskiarvoa paremmilta.
- Koulutus- tai tehtävätason normit: samantasoiset ihmiset, kuten ammatillisen koulutuksen, korkeakoulutettujen tai johtotehtävien taso. Yleensä parempi vertailukohta henkilövalinnassa.
- Hakijanormit: kerätty todellisissa valintamenettelyissä. Persoonallisuuskyselyissä hakijat kuvaavat itseään yleensä edullisemmin kuin ihmiset, joilla ei ole mitään pelissä.
- Työntekijä- tai organisaationormit: hyödyllisiä kehittämisessä. Henkilövalinnassa ne siirtävät aiemmat rekrytointivalinnat uusiin päätöksiin, ja ne ovat usein pieniä.
Maa ja kieli
Normit kuuluvat tiettyyn testiversioon. Käännös voi muuttaa tehtävien toimintaa, ja vastaustyylit vaihtelevat maittain, joten yhden kieliversion normi ei automaattisesti päde toiseen. Kun hakijat tekevät eri kieliversioita, varmista, että käsikirjassa on normi jokaiselle versiolle ja näyttöä siitä, että versiot mittaavat samaa asiaa.
Mitä väärä normiryhmä aiheuttaa
Liian laaja ryhmä paisuttaa pisteitä; liian valikoitunut ryhmä saa hyvät hakijat näyttämään keskinkertaisilta. Normien sekoittaminen samassa menettelyssä on vielä pahempi, koska eri ryhmiin verrattuja hakijoita ei voi enää verrata keskenään. Käytä yhtä normiryhmää menettelyä kohden ja kirjaa, mitä.
Kuinka hyvä normi itse on?
Normi on otos, ja sillä on minkä tahansa otoksen heikkoudet. Tarkista seuraavat asiat ennen kuin luotat siihen.
- Koko: yhtä vähimmäismäärää ei ole. Useampi sata henkilöä normiryhmää kohden on yleinen lähtökohta; vakaat ääripään persentiilit vaativat enemmän.
- Koostumus: muistuttaako ryhmä arvioitavia ihmisiä tason, toimialan, alueen, iän ja sukupuolen osalta? Suuri mutta vino otos ei ole parempi kuin pienempi, hyvin koottu otos.
- Ajantasaisuus: väestöt ja testinteon tavat muuttuvat. Selvitä, milloin aineisto on kerätty, ja suhtaudu varauksella normeihin, jotka ovat monta vuotta vanhoja.
- Keruutapa: hakijoita, työntekijöitä vai vapaaehtoisia ja opiskelijoita? Panokset, valvonta ja käytetty laite vaikuttavat kaikki pisteisiin.
Hyvä tekninen käsikirja raportoi kaiken tämän sekä kuvailevat tunnusluvut, raakapisteiden muunnostavan ja mittauksen keskivirheen. Testien arviointijärjestelmät, kuten COTANin ja EFPAn, arvioivat normit omana kriteerinään; opas testien laatukriteereistä kertoo miten. Match.hr:ssä jokaisen testin seloste näyttää normiotosten koot ja viimeisimmän laskennan päivämäärän, ja jokainen raportti nimeää käytetyn normiryhmän (lisää sivulla Normitus).
Normit ja reiluus
Ryhmien keskiarvopisteet voivat erota toisistaan. Houkutteleva ratkaisu on oma normi jokaiselle ryhmälle, jolloin naisia verrataan vain naisiin tai vanhempia hakijoita vain vanhempiin hakijoihin. Kieliversioille erilliset normit ovat usein välttämättömiä. Sukupuolen, iän tai etnisen alkuperän kaltaisten ominaisuuksien osalta ne eivät henkilövalinnassa yleensä ole ratkaisu.
- Sama raakapistemäärä johtaisi eri normipisteeseen henkilön ryhmästä riippuen, mikä voi merkitä eriarvoista kohtelua.
- Ne peittävät eron sen sijaan, että selittäisivät sen. Ero voi johtua vinoutuneista osioista, todellisesta erosta mitattavassa ominaisuudessa tai testin käyttötavasta, ja kukin näistä vaatii erilaisen vastauksen.
- Etnisen alkuperän kaltaiset ominaisuudet kuuluvat yleisessä tietosuoja-asetuksessa erityisiin henkilötietoryhmiin, eikä niitä usein voi henkilövalinnassa kerätä lainkaan.
Parempi tapa on tarkastella vinoumia suoraan: osioiden erottelevaa toimintaa (DIF), mittausinvarianssia ryhmien ja kieliversioiden välillä sekä haitallista vaikutusta käyttämilläsi karsintarajoilla. Tarkista sen jälkeen, että testin mittaama ominaisuus on tehtävän kannalta olennainen. Sivulla Reiluus ja vinoumat kerrotaan näistä analyyseista.
Tarkistuslista ennen raportin lukemista
- Mikä normiryhmä on nimetty, ja vastaako se tehtävän tasoa, maata ja kieltä?
- Kuinka suuri normiryhmä on, miten se on kerätty ja milloin?
- Tekikö hakija saman version samalla kielellä ja samanlaisen valvonnan alaisena kuin normiryhmä?
- Ovatko hakijoiden väliset erot luottamusväliä suurempia?
- Verrataanko kaikkia tämän menettelyn hakijoita samaan normiin?
- Persoonallisuusasteikoissa: luetko korkean ja matalan sijainteina etkä hyvänä ja huonona?
- Mitä muuta tiedät? Testin pistemäärä on haastattelujen, työnäytteiden ja suositusten rinnalla, ja päätöksen tekee ihminen.
Jos raportti tai käsikirja ei vastaa näihin kysymyksiin, kysy julkaisijalta ennen kuin luotat pisteisiin.
Lähteet
- American Educational Research Association, American Psychological Association ja National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
- International Test Commission (2001). International Guidelines for Test Use. International Journal of Testing, 1(2), 93–114.