Reliabiliteetti ja validiteetti: mitä HR-ammattilaisen pitää tietää

Kaksi sanaa, jotka löytyvät jokaisesta testin käsikirjasta ja jokaisesta toimittajan esityksestä. Tämä opas kertoo, mitä ne tarkoittavat käytännössä, mitä lukuja kannattaa etsiä ja mitä kysyä ennen kuin käytät testiä ihmisiä koskevien päätösten tukena.

Lyhyesti

  • Reliabiliteetti on johdonmukaisuutta: saisiko sama ihminen uudelleen suunnilleen saman pistemäärän?
  • Validiteetti on merkitystä: tukeeko pistemäärä johtopäätöstä, jonka haluat tehdä, juuri tähän tehtävään, tälle ryhmälle ja tällä kielellä?
  • Jokainen pistemäärä on väli, ei piste. Mittauksen keskivirhe kertoo, kuinka leveä se on.
  • Henkilövalinnan validiteettikertoimet ovat maltillisia lukuja, joilla on silti merkitystä, ja hyvin valitut menetelmät täydentävät toisiaan.
  • Kysy jokaisen luvun taustalla olevaa näyttöä: otos, perusjoukko, kieliversio ja käyttötarkoitus.

Miksi nämä kaksi sanaa ovat tärkeitä testiä valitessa

Testi antaa luvun, joka tukee ihmistä koskevaa päätöstä. Luvusta on hyötyä vain, jos kaksi asiaa pitää paikkansa. Sen täytyy olla johdonmukainen: saman ihmisen pitäisi saada kahdesti samoissa olosuhteissa mitattuna suunnilleen sama tulos. Ja sillä täytyy olla merkitystä päätöksen kannalta: korkeamman pistemäärän pitäisi liittyä siihen, millä tehtävässä on merkitystä.

Ensimmäinen on reliabiliteetti, jälkimmäinen validiteetti. Testi voi olla hyvin reliaabeli ja mitata silti jotain työn kannalta epäolennaista. Toisin päin se ei toimi: testi, jonka tulokset ovat epäjohdonmukaisia, ei voi myöskään ennustaa mitään johdonmukaisesti. Reliabiliteetti on validiteetin edellytys, ei sen korvike.

Reliabiliteetti: kuinka johdonmukainen pistemäärä on?

Reliabiliteetti ilmaistaan kertoimena 0:n ja 1:n välillä. Lajeja on useita, ja kukin vastaa eri kysymykseen.

Test-retest-reliabiliteetti

Samat ihmiset tekevät testin kahdesti. Korkea korrelaatio tarkoittaa, että pisteet pysyvät ajan kuluessa vakaina, mikä on tärkeää piirteille, joiden odotetaan olevan pysyviä, kuten persoonallisuudelle. Mittausten väli on merkityksellinen: liian lyhyellä välillä ihmiset muistavat vastauksensa, liian pitkällä mukaan sekoittuu todellista muutosta.

Sisäinen yhtenäisyys

Mittaavatko asteikon osiot samaa asiaa? Tavallinen tunnusluku on Cronbachin alfa; McDonaldin omega on usein sopivampi, kun osiot heijastavat mitattavaa ominaisuutta eri voimakkuudella. Usein lainatun nyrkkisäännön mukaan noin 0,70 voi riittää ryhmätason tutkimukseen, kun taas yksilöitä koskevat päätökset edellyttävät selvästi korkeampia arvoja. Testien arviointimallit asettavat omat raja-arvonsa sen mukaan, mitä on pelissä; katso miten testien laatukriteerit toimivat.

Arvioitsijoiden välinen reliabiliteetti

Kun pistemäärän tuottavat arvioijat eikä pisteytysavain, kuten haastatteluissa ja assessment center -harjoituksissa, kysymys on siitä, päätyvätkö eri arvioijat samaan arvioon. Se raportoidaan sisäkorrelaationa (ICC) tai Cohenin kappana. Strukturoidut kysymykset, käyttäytymiseen perustuvat arviointiasteikot ja arvioijien koulutus nostavat sitä.

Mittauksen keskivirhe

Reliabiliteettikerroin kuvaa testiä koko ryhmässä. Yksilön kohdalla mittauksen keskivirhe (SEM) on hyödyllisempi: asteikon keskihajonta kerrottuna neliöjuurella luvusta yksi miinus reliabiliteetti. Se osoittaa, kuinka kaukana havaittu pistemäärä voi olla siitä pistemäärästä, jonka henkilö saisi ilman mittausvirhettä.

Esimerkki Pistemäärä on väli (kuvitteelliset luvut)

Persoonallisuusasteikko käyttää T-pisteitä (keskiarvo 50, keskihajonta 10), ja sen reliabiliteetti on olennaisessa normiryhmässä 0,84. SEM on 10 × √(1 − 0,84) = 4 pistettä, ja 95 prosentin luottamusväli ulottuu noin kahden SEM:n verran pistemäärän kummallekin puolelle. Hakija A saa 56 pistettä, eli väli on noin 48–64; hakija B saa 52, eli noin 44–60. Välit menevät lähes kokonaan päällekkäin: neljän pisteen ero kertoo hyvin vähän, eikä sen pidä ratkaista järjestystä.

Validiteetti: tarkoittaako pistemäärä sitä, mitä tarvitset?

Validiteetti on näistä kahdesta tärkeämpi. Nykyiset ammatilliset standardit eivät pidä sitä testin pysyvänä ominaisuutena, vaan sinä määränä, jossa näyttö tukee pisteiden tiettyä tulkintaa tiettyyn käyttötarkoitukseen. Hyödyllinen kysymys ei siis ole, onko testi validi, vaan: validi mihin, kenelle ja millä kielellä?

Sisältövaliditeetti

Kattavatko osiot sen, millä tehtävässä on merkitystä, ja vain sen? Yleensä asiantuntijat arvioivat tämän, esimerkiksi vertaamalla osaamistestin tehtäviä työn analyysiin.

Käsitevaliditeetti

Mittaako testi sitä, mitä sen väitetään mittaavan? Näyttöä ovat esimerkiksi faktorirakenne, korrelaatiot samankaltaisten ja erilaisten mittarien kanssa sekä se, säilyykö rakenne jokaisessa kieliversiossa. Ilman tätä et oikeastaan tiedä, mitä asteikon nimi tarkoittaa.

Kriteeri- ja ennustevaliditeetti

Ovatko pisteet yhteydessä olennaisiin lopputuloksiin, kuten työsuoritukseen, koulutuksessa menestymiseen tai organisaatioon jäämiseen? Ennustavassa asetelmassa ihmiset testataan palkkaamisvaiheessa ja lopputulos mitataan myöhemmin. Samanaikaisessa asetelmassa testataan nykyisiä työntekijöitä, mikä on nopeampaa, mutta tämä ryhmä on jo valikoitunut, mikä yleensä pienentää korrelaatioita. Myös kriteerillä on merkitystä: epämääräinen tai epäjohdonmukainen suoritusarvio rajoittaa sitä, kuinka korkea mikään validiteettikerroin voi olla.

Mikä on riittävän hyvä? Validiteettikertoimien lukeminen

Kriteerivaliditeetti raportoidaan yleensä korrelaationa, ja henkilövalinnassa korrelaatiot ovat maltillisia. Se on normaalia: suoritus riippuu monesta asiasta, jota testi ei tavoita, tiimistä ja esihenkilöstä aina työn ulkopuoliseen elämään. Noin 0,30:n korrelaatio on tällä alalla merkityksellinen tulos, ei heikko.

Sackett, Zhang, Berry ja Lievens (2022) tarkastelivat meta-analyyttista näyttöä uudelleen ja päätyivät varovaisempiin estimaatteihin kuin vanhemmat, yhä laajalti lainatut luvut, lähinnä siksi, että he pitivät aiempia vaihteluvälin kaventumisen korjauksia liian suurina. Heidän estimaattejaan:

  • Strukturoitu haastattelu: noin 0,42
  • Yleinen kognitiivinen kyky: noin 0,31
  • Tunnollisuus: noin 0,19

Tästä seuraa kolme asiaa. Luvut ovat keskiarvoja monista tutkimuksista ja tehtävistä, ja ne on korjattu tilastollisten artefaktien osalta, joten tietty testi voi sinun tilanteessasi toimia paremmin tai huonommin. Kaikki ovat selvästi nollaa suurempia: kun maltillistakin validiteettia sovelletaan johdonmukaisesti moniin rekrytointipäätöksiin, keskimääräinen lopputulos paranee jäsentymättömään harkintaan verrattuna. Ja eri asioita mittaavat menetelmät tuovat lisätietoa. Kognitiivinen kyky ja tunnollisuus ovat vain heikosti yhteydessä toisiinsa, joten niiden yhdistelmä ennustaa yleensä paremmin kuin kumpikaan yksin. Samasta syystä kognitiivisia kykytestejä kannattaa käyttää strukturoidun haastattelun rinnalla eikä sen sijasta.

Teknisen käsikirjan lukeminen: kysymyksiä

Esitteen luku merkitsee vähän ilman asiayhteyttään, ja hyvä tekninen käsikirja antaa tämän asiayhteyden. Luetpa käsikirjaa tai keskustelet toimittajan kanssa, nämä kysymykset auttavat.

  • Mikä reliabiliteetin laji raportoidaan, ja onko mittauksen keskivirhe ilmoitettu?
  • Kuinka suuri otos oli, ja keitä siinä oli: maa, kieli, tehtävätaso? Muutaman kymmenen henkilön kertoimet ovat epävakaita.
  • Mitä kieliversiota näyttö koskee? Käännöksestä tarvitaan omaa aineistoa ennen kuin voi olettaa sen toimivan samoin.
  • Mikä oli kriteeri validiteettitutkimuksissa, miten se mitattiin, ja oliko asetelma ennustava vai samanaikainen?
  • Mihin käyttöön näyttö pätee: valintaan, kehittämiseen, tiettyyn tehtäväryhmään?
  • Kuinka tuoretta se on, ja mitä käsikirja kertoo siitä, mitä ei ole tutkittu?

”Testi on validoitu” ilman tietoa siitä, mihin, keiden kanssa ja millä luvuilla, ei vastaa kysymykseen. Puutteellinen näyttö on hyväksyttävää, etenkin uusissa testeissä, kunhan siitä kerrotaan avoimesti. Match.hr:ssä jokaisen testin psykometrinen seloste näyttää reliabiliteetin ja otoksen, johon se perustuu, käyttötarkoituksen ja analysoidut kieliversiot.

Miten tämä liittyy normeihin ja reiluuteen

Pistemäärää voi tulkita vasta vertailuryhmän rinnalla, joten seuraava kysymys on, mikä normiryhmä sopii hakijoihisi ja kuinka tuore se on; katso normiryhmät selitettynä. Testi voi myös ennustaa keskimäärin hyvin mutta toimia joillekin ryhmille eri tavalla, esimerkiksi kun osio edellyttää kielitaitoa tai kulttuurista tietämystä, joka ei kuulu siihen, mitä sen pitäisi mitata. Sivullamme Reiluus ja vinoumat kerrotaan, miten tätä tutkitaan.

Johdonmukaiset, väleinä luetut pisteet, näyttö juuri sinun käyttötarkoitukseesi, sopiva normiryhmä ja reiluusanalyysit silloin, kun ne ovat lain mukaan mahdollisia: yhdessä ne tekevät testistä vankan perustan ihmisen harkitulle päätökselle, eivät sen korvikkeen.

Lähteet

  • American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
  • Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.

Usein kysytyt kysymykset

Onko reliaabeli testi automaattisesti validi?

Ei. Reliabiliteetti kertoo vain, että testi mittaa johdonmukaisesti, ei sitä, että se mittaa jotain päätöksesi kannalta olennaista. Se asettaa kuitenkin ylärajan: mitä heikompi testin reliabiliteetti on, sitä heikompi sen yhteys mihinkään lopputulokseen voi olla. Tarvitset molempia, ja validiteetti on se, joka vastaa varsinaiseen kysymykseesi.

Millainen reliabiliteetti valintatestillä pitäisi olla?

Yhtä lukua ei ole. Yksilöitä koskevat päätökset vaativat korkeampaa reliabiliteettia kuin ryhmätason tutkimus, ja mitä enemmän painoa pistemäärällä on, sitä korkeammalla rima on. Sen sijaan, että tarkistaisit vain, ylittääkö kerroin raja-arvon, katso mittauksen keskivirhettä: se näyttää, kuinka leveä väli pistemäärän ympärillä on ja jäävätkö hakijoidesi väliset erot sen sisään.

Voimmeko tarkistaa testin validiteetin omassa organisaatiossamme?

Usein kyllä, mutta se vaatii suunnittelua. Paikallinen kriteeritutkimus edellyttää olennaista, hyvin mitattua lopputulosta ja riittävästi ihmisiä: pienissä otoksissa korrelaatiot vaihtelevat niin paljon, että ne kertovat vähän, ja tällaiset tutkimukset vaativat yleensä useita satoja osallistujia. Jos se ei ole vielä mahdollista, kirjaa testitulokset ja myöhemmät lopputulokset johdonmukaisesti, jotta tutkimus tulee mahdolliseksi aineiston kasvaessa.

Voiko harjoitustestejä käyttää henkilövalinnassa?

Ei. Harjoitustestit, kuten Assessment-Training.comin testit, on tehty auttamaan hakijoita valmistautumaan. Niitä ei ole rakennettu eikä tutkittu valintamenetelminä, eikä niiden pisteille ole näyttöpohjaa hakijoita koskevissa päätöksissä.

Testaa ensimmäinen hakijasi jo tänään

Maksuton tili, ei luottokorttia, tulokset minuuteissa.