Reliabiliteetti ja validiteetti: mitä HR-ammattilaisen pitää tietää
Kaksi sanaa, jotka löytyvät jokaisesta testin käsikirjasta ja jokaisesta toimittajan esityksestä. Tämä opas kertoo, mitä ne tarkoittavat käytännössä, mitä lukuja kannattaa etsiä ja mitä kysyä ennen kuin käytät testiä ihmisiä koskevien päätösten tukena.
Lyhyesti
- Reliabiliteetti on johdonmukaisuutta: saisiko sama ihminen uudelleen suunnilleen saman pistemäärän?
- Validiteetti on merkitystä: tukeeko pistemäärä johtopäätöstä, jonka haluat tehdä, juuri tähän tehtävään, tälle ryhmälle ja tällä kielellä?
- Jokainen pistemäärä on väli, ei piste. Mittauksen keskivirhe kertoo, kuinka leveä se on.
- Henkilövalinnan validiteettikertoimet ovat maltillisia lukuja, joilla on silti merkitystä, ja hyvin valitut menetelmät täydentävät toisiaan.
- Kysy jokaisen luvun taustalla olevaa näyttöä: otos, perusjoukko, kieliversio ja käyttötarkoitus.
Miksi nämä kaksi sanaa ovat tärkeitä testiä valitessa
Testi antaa luvun, joka tukee ihmistä koskevaa päätöstä. Luvusta on hyötyä vain, jos kaksi asiaa pitää paikkansa. Sen täytyy olla johdonmukainen: saman ihmisen pitäisi saada kahdesti samoissa olosuhteissa mitattuna suunnilleen sama tulos. Ja sillä täytyy olla merkitystä päätöksen kannalta: korkeamman pistemäärän pitäisi liittyä siihen, millä tehtävässä on merkitystä.
Ensimmäinen on reliabiliteetti, jälkimmäinen validiteetti. Testi voi olla hyvin reliaabeli ja mitata silti jotain työn kannalta epäolennaista. Toisin päin se ei toimi: testi, jonka tulokset ovat epäjohdonmukaisia, ei voi myöskään ennustaa mitään johdonmukaisesti. Reliabiliteetti on validiteetin edellytys, ei sen korvike.
Reliabiliteetti: kuinka johdonmukainen pistemäärä on?
Reliabiliteetti ilmaistaan kertoimena 0:n ja 1:n välillä. Lajeja on useita, ja kukin vastaa eri kysymykseen.
Test-retest-reliabiliteetti
Samat ihmiset tekevät testin kahdesti. Korkea korrelaatio tarkoittaa, että pisteet pysyvät ajan kuluessa vakaina, mikä on tärkeää piirteille, joiden odotetaan olevan pysyviä, kuten persoonallisuudelle. Mittausten väli on merkityksellinen: liian lyhyellä välillä ihmiset muistavat vastauksensa, liian pitkällä mukaan sekoittuu todellista muutosta.
Sisäinen yhtenäisyys
Mittaavatko asteikon osiot samaa asiaa? Tavallinen tunnusluku on Cronbachin alfa; McDonaldin omega on usein sopivampi, kun osiot heijastavat mitattavaa ominaisuutta eri voimakkuudella. Usein lainatun nyrkkisäännön mukaan noin 0,70 voi riittää ryhmätason tutkimukseen, kun taas yksilöitä koskevat päätökset edellyttävät selvästi korkeampia arvoja. Testien arviointimallit asettavat omat raja-arvonsa sen mukaan, mitä on pelissä; katso miten testien laatukriteerit toimivat.
Arvioitsijoiden välinen reliabiliteetti
Kun pistemäärän tuottavat arvioijat eikä pisteytysavain, kuten haastatteluissa ja assessment center -harjoituksissa, kysymys on siitä, päätyvätkö eri arvioijat samaan arvioon. Se raportoidaan sisäkorrelaationa (ICC) tai Cohenin kappana. Strukturoidut kysymykset, käyttäytymiseen perustuvat arviointiasteikot ja arvioijien koulutus nostavat sitä.
Mittauksen keskivirhe
Reliabiliteettikerroin kuvaa testiä koko ryhmässä. Yksilön kohdalla mittauksen keskivirhe (SEM) on hyödyllisempi: asteikon keskihajonta kerrottuna neliöjuurella luvusta yksi miinus reliabiliteetti. Se osoittaa, kuinka kaukana havaittu pistemäärä voi olla siitä pistemäärästä, jonka henkilö saisi ilman mittausvirhettä.
Persoonallisuusasteikko käyttää T-pisteitä (keskiarvo 50, keskihajonta 10), ja sen reliabiliteetti on olennaisessa normiryhmässä 0,84. SEM on 10 × √(1 − 0,84) = 4 pistettä, ja 95 prosentin luottamusväli ulottuu noin kahden SEM:n verran pistemäärän kummallekin puolelle. Hakija A saa 56 pistettä, eli väli on noin 48–64; hakija B saa 52, eli noin 44–60. Välit menevät lähes kokonaan päällekkäin: neljän pisteen ero kertoo hyvin vähän, eikä sen pidä ratkaista järjestystä.
Validiteetti: tarkoittaako pistemäärä sitä, mitä tarvitset?
Validiteetti on näistä kahdesta tärkeämpi. Nykyiset ammatilliset standardit eivät pidä sitä testin pysyvänä ominaisuutena, vaan sinä määränä, jossa näyttö tukee pisteiden tiettyä tulkintaa tiettyyn käyttötarkoitukseen. Hyödyllinen kysymys ei siis ole, onko testi validi, vaan: validi mihin, kenelle ja millä kielellä?
Sisältövaliditeetti
Kattavatko osiot sen, millä tehtävässä on merkitystä, ja vain sen? Yleensä asiantuntijat arvioivat tämän, esimerkiksi vertaamalla osaamistestin tehtäviä työn analyysiin.
Käsitevaliditeetti
Mittaako testi sitä, mitä sen väitetään mittaavan? Näyttöä ovat esimerkiksi faktorirakenne, korrelaatiot samankaltaisten ja erilaisten mittarien kanssa sekä se, säilyykö rakenne jokaisessa kieliversiossa. Ilman tätä et oikeastaan tiedä, mitä asteikon nimi tarkoittaa.
Kriteeri- ja ennustevaliditeetti
Ovatko pisteet yhteydessä olennaisiin lopputuloksiin, kuten työsuoritukseen, koulutuksessa menestymiseen tai organisaatioon jäämiseen? Ennustavassa asetelmassa ihmiset testataan palkkaamisvaiheessa ja lopputulos mitataan myöhemmin. Samanaikaisessa asetelmassa testataan nykyisiä työntekijöitä, mikä on nopeampaa, mutta tämä ryhmä on jo valikoitunut, mikä yleensä pienentää korrelaatioita. Myös kriteerillä on merkitystä: epämääräinen tai epäjohdonmukainen suoritusarvio rajoittaa sitä, kuinka korkea mikään validiteettikerroin voi olla.
Mikä on riittävän hyvä? Validiteettikertoimien lukeminen
Kriteerivaliditeetti raportoidaan yleensä korrelaationa, ja henkilövalinnassa korrelaatiot ovat maltillisia. Se on normaalia: suoritus riippuu monesta asiasta, jota testi ei tavoita, tiimistä ja esihenkilöstä aina työn ulkopuoliseen elämään. Noin 0,30:n korrelaatio on tällä alalla merkityksellinen tulos, ei heikko.
Sackett, Zhang, Berry ja Lievens (2022) tarkastelivat meta-analyyttista näyttöä uudelleen ja päätyivät varovaisempiin estimaatteihin kuin vanhemmat, yhä laajalti lainatut luvut, lähinnä siksi, että he pitivät aiempia vaihteluvälin kaventumisen korjauksia liian suurina. Heidän estimaattejaan:
- Strukturoitu haastattelu: noin 0,42
- Yleinen kognitiivinen kyky: noin 0,31
- Tunnollisuus: noin 0,19
Tästä seuraa kolme asiaa. Luvut ovat keskiarvoja monista tutkimuksista ja tehtävistä, ja ne on korjattu tilastollisten artefaktien osalta, joten tietty testi voi sinun tilanteessasi toimia paremmin tai huonommin. Kaikki ovat selvästi nollaa suurempia: kun maltillistakin validiteettia sovelletaan johdonmukaisesti moniin rekrytointipäätöksiin, keskimääräinen lopputulos paranee jäsentymättömään harkintaan verrattuna. Ja eri asioita mittaavat menetelmät tuovat lisätietoa. Kognitiivinen kyky ja tunnollisuus ovat vain heikosti yhteydessä toisiinsa, joten niiden yhdistelmä ennustaa yleensä paremmin kuin kumpikaan yksin. Samasta syystä kognitiivisia kykytestejä kannattaa käyttää strukturoidun haastattelun rinnalla eikä sen sijasta.
Teknisen käsikirjan lukeminen: kysymyksiä
Esitteen luku merkitsee vähän ilman asiayhteyttään, ja hyvä tekninen käsikirja antaa tämän asiayhteyden. Luetpa käsikirjaa tai keskustelet toimittajan kanssa, nämä kysymykset auttavat.
- Mikä reliabiliteetin laji raportoidaan, ja onko mittauksen keskivirhe ilmoitettu?
- Kuinka suuri otos oli, ja keitä siinä oli: maa, kieli, tehtävätaso? Muutaman kymmenen henkilön kertoimet ovat epävakaita.
- Mitä kieliversiota näyttö koskee? Käännöksestä tarvitaan omaa aineistoa ennen kuin voi olettaa sen toimivan samoin.
- Mikä oli kriteeri validiteettitutkimuksissa, miten se mitattiin, ja oliko asetelma ennustava vai samanaikainen?
- Mihin käyttöön näyttö pätee: valintaan, kehittämiseen, tiettyyn tehtäväryhmään?
- Kuinka tuoretta se on, ja mitä käsikirja kertoo siitä, mitä ei ole tutkittu?
”Testi on validoitu” ilman tietoa siitä, mihin, keiden kanssa ja millä luvuilla, ei vastaa kysymykseen. Puutteellinen näyttö on hyväksyttävää, etenkin uusissa testeissä, kunhan siitä kerrotaan avoimesti. Match.hr:ssä jokaisen testin psykometrinen seloste näyttää reliabiliteetin ja otoksen, johon se perustuu, käyttötarkoituksen ja analysoidut kieliversiot.
Miten tämä liittyy normeihin ja reiluuteen
Pistemäärää voi tulkita vasta vertailuryhmän rinnalla, joten seuraava kysymys on, mikä normiryhmä sopii hakijoihisi ja kuinka tuore se on; katso normiryhmät selitettynä. Testi voi myös ennustaa keskimäärin hyvin mutta toimia joillekin ryhmille eri tavalla, esimerkiksi kun osio edellyttää kielitaitoa tai kulttuurista tietämystä, joka ei kuulu siihen, mitä sen pitäisi mitata. Sivullamme Reiluus ja vinoumat kerrotaan, miten tätä tutkitaan.
Johdonmukaiset, väleinä luetut pisteet, näyttö juuri sinun käyttötarkoitukseesi, sopiva normiryhmä ja reiluusanalyysit silloin, kun ne ovat lain mukaan mahdollisia: yhdessä ne tekevät testistä vankan perustan ihmisen harkitulle päätökselle, eivät sen korvikkeen.
Lähteet
- American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
- Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.