Kognitiiviset kykytestit rekrytoinnissa

Numeerisen, verbaalisen ja abstraktin päättelyn testit ovat tavallinen vaihe rekrytoinnissa. Tämä opas kertoo, mitä ne mittaavat, mitä tuore tutkimus sanoo niiden kyvystä ennustaa suoritusta ja miten niitä käytetään reilusti ja harkiten.

Lyhyesti

  • Kognitiiviset kykytestit mittaavat päättelyä lukujen, sanojen ja kuvioiden avulla; valitse osatestit sen mukaan, mitä tehtävä edellyttää.
  • Ne ovat edelleen hyödyllinen työsuorituksen ennustaja etenkin vaativissa tehtävissä, mutta tuoreet estimaatit ovat matalampia kuin usein lainatut luvut.
  • Ryhmien keskiarvoerot voivat johtaa haitalliseen vaikutukseen: määritä työn kannalta perusteltu taso, käytä karsintarajoja säästeliäästi ja yhdistä menetelmiä.
  • Tehtäväpankit, selkeät aikarajat ja varmistus ratkaisevissa vaiheissa tekevät verkkotestauksesta luotettavampaa.
  • Vertaa pisteitä sopivaan normiryhmään, pidä niitä yhtenä näytön lähteenä ja anna ihmisen päättää.

Mitä kognitiiviset kykytestit mittaavat

Kognitiiviset kykytestit, joita kutsutaan myös soveltuvuus- tai päättelytesteiksi, mittaavat vakioiduissa olosuhteissa, kuinka hyvin ihminen omaksuu uutta tietoa, hahmottaa yhteyksiä ja ratkaisee ongelmia. Ne eivät mittaa ammattitietoa, yrittämistä tai persoonallisuutta. Rekrytoinnissa yleisiä osatestejä on kolmenlaisia:

  • Numeerinen päättely: johtopäätösten tekeminen luvuista, taulukoista ja kaavioista. Laskutoimitukset ovat yleensä yksinkertaisia; vaikeus on oikeiden tietojen ja oikeiden vaiheiden valinnassa.
  • Verbaalinen päättely: sen arvioiminen, seuraako väite lyhyestä tekstistä, onko se tekstin kanssa ristiriidassa vai eikö sitä voi tekstin perusteella ratkaista.
  • Abstrakti tai looginen päättely: säännön löytäminen kuvio-, kuva- tai lukusarjoista niin, että kielen tai aiemman tiedon merkitys on vähäinen.

Yleiset ja erityiset kyvyt

Eri päättelytestien pisteet korreloivat yleensä keskenään. Siksi useimmat älykkyysmallit kuvaavat ylimmälle tasolle yleisen tekijän, jonka alla on laajempia ja kapeampia kykyjä. Rekrytoinnissa tämä tarkoittaa, että osatestien yhdistelmä antaa luotettavamman arvion yleisestä kyvystä kuin mikään yksittäinen osatesti, kun taas tietty osatesti on paikallaan silloin, kun tehtävä selvästi edellyttää sitä, kuten numeerinen päättely talousanalyytikolla.

Valitse osatestit työn analyysin perusteella, älä tottumuksesta. Sivulla Kognitiiviset kyvyt näet Match.hr:n osatestit ja testimuodot.

Mitä ne ennustavat ja kuinka vahvasti

Kognitiivinen kyky on yksi tutkituimmista työsuorituksen ennustajista. Pitkään vertailukohtana oli Schmidtin ja Hunterin (1998) meta-analyysi, jossa yleisen kognitiivisen kyvyn validiteetiksi työsuorituksen suhteen arvioitiin noin 0,51, mikä oli vertailtujen valintamenetelmien korkeimpia.

Sackett, Zhang, Berry ja Lievens (2022) tarkastelivat uudelleen, miten aiemmissa tutkimuksissa oli korjattu vaihteluvälin kaventumista (range restriction): validiteetti voidaan laskea vain palkatuille, ja tämän ryhmän vaihtelu on pienempää kuin koko hakijajoukon. He päätyivät siihen, että korjaukset olivat usein liian suuria. Heidän tarkistettu estimaattinsa yleiselle kognitiiviselle kyvylle on noin 0,31, ja strukturoidulle haastattelulle noin 0,42.

Validiteettikertoimet ovat keskiarvoja monista tutkimuksista ja tehtävistä. Se, ennustaako tietty testi hyvin juuri sinun tilanteessasi, riippuu myös sen reliabiliteetista, osatestien osuvuudesta tehtävään ja siitä, miten pisteitä käytetään. Opas reliabiliteetista ja validiteetista kertoo, miten näitä lukuja luetaan.

Reiluus ja haitallinen vaikutus

Joissakin kognitiivisissa testeissä ryhmien keskiarvot eroavat, esimerkiksi koulutustaustan mukaan tai äidinkielellään ja toisella kielellä testattujen välillä. Keskiarvot eivät kerro yksilöistä mitään, ja pisteet vaihtelevat paljon jokaisen ryhmän sisällä. Kun käytetään korkeaa karsintarajaa tai tiukkaa paremmuusjärjestystä ylhäältä alaspäin, jo kohtalaiset keskiarvoerot voivat silti johtaa siihen, että ryhmiä valitaan eri suhteessa. Tätä kutsutaan haitalliseksi vaikutukseksi (adverse impact).

Riskiä ei voi poistaa kokonaan, mutta sitä voi pienentää ja valintansa voi perustella:

  • Määritä vaadittu taso työn perusteella sen sijaan, että valitset oletuksena korkeimmat pisteet saaneet.
  • Käytä karsintarajoja säästeliäästi. Maltillinen vähimmäistaso tai kokonaan ilman karsintarajaa muun näytön rinnalla punnittu pistemäärä aiheuttaa yleensä vähemmän haitallista vaikutusta kuin korkea kiinteä raja.
  • Yhdistä menetelmiä. Strukturoidut haastattelut, persoonallisuusarvioinnit tai työnäytteet laajentavat näyttöä ja pienentävät yksittäisen testin painoarvoa.
  • Testaa oikealla kielellä. Toisella kielellä tehty verbaalinen testi mittaa osin kielitaitoa. Tarjoa mahdollisuuksien mukaan validoitu versio hakijan omalla kielellä tai anna abstraktille päättelylle enemmän painoa.
  • Suunnittele mukautukset. Sovi etukäteen järjestelyistä, kuten lisäajasta lukivaikeuden vuoksi tai ruudunlukijalle sopivasta versiosta, ja ota ne huomioon pisteitä tulkitessasi.
  • Tarkista vinoumat. Pyydä testin toimittajalta reiluusanalyysit kieliversioittain ja seuraa, jos se on lain mukaan sallittua, valintasuhteita omassa prosessissasi.

Sivulla Reiluus ja vinoumat kerrotaan, miten osioiden vinoumaa, mittausinvarianssia ja haitallista vaikutusta analysoidaan ja mitä nämä analyysit eivät pysty osoittamaan.

Testausolosuhteet verkossa

Useimmat rekrytoinnin kognitiiviset testit tehdään nykyään verkossa, kotona ja ilman valvontaa. Se on hakijoille nopeaa ja kätevää, mutta herättää kaksi kysymystä: onko testin tekijä todella hakija, ja tekikö hän testin yksin?

Tehtäväpankit ja satunnaistetut versiot

Hyvin rakennetut verkkotestit poimivat tehtävänsä laajasta tehtäväpankista, joten hakijat saavat erilaisia mutta keskenään vastaavia versioita. Jaetuista vastauksista on silloin vähän hyötyä, eikä ulkoa opeteltuja tehtäviä todennäköisesti tule vastaan uudelleen.

Aikarajat

Useimmissa päättelytesteissä on aikaraja. Se pitää tulokset vertailukelpoisina ja vaikeuttaa asioiden etsimistä muualta, mutta se tuo mitattavaan myös nopeuden. Varmista, että aikaraja on sama kuin normiryhmällä, ja kerro hakijoille etukäteen, kuinka paljon aikaa heillä on.

Varmistus ratkaisevissa vaiheissa

Kun valvomatta tehdyllä pistemäärällä on todellista painoa päätöksessä, harkitse prosessin myöhemmässä vaiheessa lyhyttä valvottua varmistustestiä paikan päällä tai etävalvottuna ja vertaa sitä ensimmäiseen tulokseen. Kerro tästä hakijoille heti alussa.

Hakijakokemus

Kerro hakijoille, mihin testiä käytetään, kuinka kauan se kestää, millä laitteella se toimii parhaiten ja miten tuloksia hyödynnetään. Selkeät harjoitustehtävät alussa ja rauhallinen, saavutettava käyttöliittymä auttavat vähentämään testijännitystä, joka voi laskea pisteitä kertomatta mitään kyvyistä.

Harjoittelu ja valmistautuminen

Hakijat valmistautuvat päättelytesteihin, usein harjoitustesteillä esimerkiksi Assessment-Training.comin kaltaisilla sivustoilla. Kun tehtävätyypit ovat tuttuja, jännitys ja ohjeisiin liittyvä hämmennys vähenevät, joten pistemäärä kuvastaa todennäköisemmin todellista päättelykykyä.

Harjoittelulla on vaikutusta. Pisteet nousevat yleensä jonkin verran, kun ihminen on jo tehnyt saman tai samankaltaisen testin, lähinnä testimuodon tuttuuden ja paremman ajankäytön ansiosta. Tämä on yksi syy pitää uusintakertojen välillä odotusaika ja olla vertaamatta uusintatulosta suoraan ensimmäiseen yritykseen.

Työnantajalle johtopäätös on rauhoittava. Laajan tehtäväpankin ja satunnaistettujen versioiden ansiosta harjoittelu tarkoittaa testimuotoon tottumista, ei vastausten opettelua. Avoimuus testistä ja sen tehtävätyypeistä asettaa myös hakijat, joilla on tai ei ole ollut mahdollisuutta valmistautua, tasavertaisempaan asemaan.

Tulosten hyvä käyttö

Pistemäärä saa merkityksen vasta, kun tiedät, mihin sitä verrataan. Raportit ilmaisevat tuloksen yleensä persentiilinä, staniinina tai vastaavana pistemääränä suhteessa normiryhmään. Valitse tehtävän tasoon sopiva normiryhmä: korkeakoulutettujen tehtävään hakevia pitää verrata vastaavaan joukkoon, ei koko työssä käyvään väestöön.

Esimerkki Kaksi hakijaa analyytikon tehtävään

Kaksi hakijaa kuvitteelliseen data-analyytikon tehtävään tekee numeerisen ja verbaalisen päättelyn testit. Korkeakoulutettujen normiryhmään verrattuna hakija A sijoittuu numeerisessa päättelyssä 72. persentiiliin ja hakija B 68. persentiiliin. Heidän luottamusvälinsä menevät lähes kokonaan päällekkäin, joten testi ei erottele heitä. Rekrytointitiimi päättää jatkoon pääsevästä strukturoidun haastattelun ja työnäytteen perusteella.

  • Pidä pistemäärää yhtenä näytön lähteenä haastattelujen, työnäytteiden ja suositusten rinnalla.
  • Katso luottamusvälejä: pienet erot hakijoiden välillä jäävät usein mittausvirheen sisään.
  • Päätä etukäteen, miten pistemäärää painotetaan, jotta kaikkia hakijoita kohdellaan samalla tavalla.
  • Anna ihmisen päättää. Älä käytä kognitiivista pistemäärää hakijoiden automaattiseen hylkäämiseen.

Kun ohjelmisto tai tekoäly asettaa hakijoita järjestykseen tai suodattaa heitä, EU:n tekoälysäädös luokittelee sen suuririskiseksi ja edellyttää ihmisen suorittamaa valvontaa; katso EU:n tekoälysäädös ja arvioinnit rekrytoinnissa.

Lähteet

  • Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin.
  • Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.

Usein kysytyt kysymykset

Pitäisikö meidän käyttää karsintarajaa?

Vain jos tason voi perustella tehtävän vaatimuksilla, ja mieluiten maltillisena. Korkeat kiinteät karsintarajat lisäävät haitallisen vaikutuksen riskiä ja tekevät pienistä, epävarmoista eroista ratkaisevia. Moni organisaatio saa parempia tuloksia punnitsemalla pistemäärää haastattelujen ja työnäytteiden rinnalla niin, että lopullisen päätöksen tekee ihminen.

Ovatko valvomattomat verkkotestit riittävän luotettavia?

Alkuvaiheissa yleensä ovat, kunhan testi käyttää tehtäväpankkia tai satunnaistettuja versioita ja aikarajat vastaavat normiryhmän aikarajoja. Kun pistemäärällä on paljon painoa päätöksessä, prosessin myöhemmässä vaiheessa tehty lyhyt valvottu varmistustesti tuo lisävarmuutta.

Kuinka kauan hakijan pitäisi odottaa ennen testin uusimista?

Jos testi tehdään uudelleen pian ensimmäisen kerran jälkeen, syntyy harjoitusvaikutus, eivätkä pisteet ole vertailukelpoisia. Useamman kuukauden odotusaika on järkevä lähtökohta, ja uusintakerralla pitää käyttää eri versiota.

Pitäisikö meidän käyttää vain abstraktia päättelyä kielen vaikutuksen välttämiseksi?

Abstrakti päättely riippuu vähemmän kielestä, mistä on apua, kun hakijat tekevät testin toisella kielellä. Jos tehtävä kuitenkin nojaa vahvasti kirjalliseen tietoon tai lukuihin, verbaalinen tai numeerinen päättely mittaa jotain, mitä työ vaatii. Valitse työn analyysin perusteella ja tarjoa mahdollisuuksien mukaan validoituja kieliversioita.

Testaa ensimmäinen hakijasi jo tänään

Maksuton tili, ei luottokorttia, tulokset minuuteissa.