Kognitiiviset kykytestit rekrytoinnissa
Numeerisen, verbaalisen ja abstraktin päättelyn testit ovat tavallinen vaihe rekrytoinnissa. Tämä opas kertoo, mitä ne mittaavat, mitä tuore tutkimus sanoo niiden kyvystä ennustaa suoritusta ja miten niitä käytetään reilusti ja harkiten.
Lyhyesti
- Kognitiiviset kykytestit mittaavat päättelyä lukujen, sanojen ja kuvioiden avulla; valitse osatestit sen mukaan, mitä tehtävä edellyttää.
- Ne ovat edelleen hyödyllinen työsuorituksen ennustaja etenkin vaativissa tehtävissä, mutta tuoreet estimaatit ovat matalampia kuin usein lainatut luvut.
- Ryhmien keskiarvoerot voivat johtaa haitalliseen vaikutukseen: määritä työn kannalta perusteltu taso, käytä karsintarajoja säästeliäästi ja yhdistä menetelmiä.
- Tehtäväpankit, selkeät aikarajat ja varmistus ratkaisevissa vaiheissa tekevät verkkotestauksesta luotettavampaa.
- Vertaa pisteitä sopivaan normiryhmään, pidä niitä yhtenä näytön lähteenä ja anna ihmisen päättää.
Mitä kognitiiviset kykytestit mittaavat
Kognitiiviset kykytestit, joita kutsutaan myös soveltuvuus- tai päättelytesteiksi, mittaavat vakioiduissa olosuhteissa, kuinka hyvin ihminen omaksuu uutta tietoa, hahmottaa yhteyksiä ja ratkaisee ongelmia. Ne eivät mittaa ammattitietoa, yrittämistä tai persoonallisuutta. Rekrytoinnissa yleisiä osatestejä on kolmenlaisia:
- Numeerinen päättely: johtopäätösten tekeminen luvuista, taulukoista ja kaavioista. Laskutoimitukset ovat yleensä yksinkertaisia; vaikeus on oikeiden tietojen ja oikeiden vaiheiden valinnassa.
- Verbaalinen päättely: sen arvioiminen, seuraako väite lyhyestä tekstistä, onko se tekstin kanssa ristiriidassa vai eikö sitä voi tekstin perusteella ratkaista.
- Abstrakti tai looginen päättely: säännön löytäminen kuvio-, kuva- tai lukusarjoista niin, että kielen tai aiemman tiedon merkitys on vähäinen.
Yleiset ja erityiset kyvyt
Eri päättelytestien pisteet korreloivat yleensä keskenään. Siksi useimmat älykkyysmallit kuvaavat ylimmälle tasolle yleisen tekijän, jonka alla on laajempia ja kapeampia kykyjä. Rekrytoinnissa tämä tarkoittaa, että osatestien yhdistelmä antaa luotettavamman arvion yleisestä kyvystä kuin mikään yksittäinen osatesti, kun taas tietty osatesti on paikallaan silloin, kun tehtävä selvästi edellyttää sitä, kuten numeerinen päättely talousanalyytikolla.
Valitse osatestit työn analyysin perusteella, älä tottumuksesta. Sivulla Kognitiiviset kyvyt näet Match.hr:n osatestit ja testimuodot.
Mitä ne ennustavat ja kuinka vahvasti
Kognitiivinen kyky on yksi tutkituimmista työsuorituksen ennustajista. Pitkään vertailukohtana oli Schmidtin ja Hunterin (1998) meta-analyysi, jossa yleisen kognitiivisen kyvyn validiteetiksi työsuorituksen suhteen arvioitiin noin 0,51, mikä oli vertailtujen valintamenetelmien korkeimpia.
Sackett, Zhang, Berry ja Lievens (2022) tarkastelivat uudelleen, miten aiemmissa tutkimuksissa oli korjattu vaihteluvälin kaventumista (range restriction): validiteetti voidaan laskea vain palkatuille, ja tämän ryhmän vaihtelu on pienempää kuin koko hakijajoukon. He päätyivät siihen, että korjaukset olivat usein liian suuria. Heidän tarkistettu estimaattinsa yleiselle kognitiiviselle kyvylle on noin 0,31, ja strukturoidulle haastattelulle noin 0,42.
Validiteettikertoimet ovat keskiarvoja monista tutkimuksista ja tehtävistä. Se, ennustaako tietty testi hyvin juuri sinun tilanteessasi, riippuu myös sen reliabiliteetista, osatestien osuvuudesta tehtävään ja siitä, miten pisteitä käytetään. Opas reliabiliteetista ja validiteetista kertoo, miten näitä lukuja luetaan.
Reiluus ja haitallinen vaikutus
Joissakin kognitiivisissa testeissä ryhmien keskiarvot eroavat, esimerkiksi koulutustaustan mukaan tai äidinkielellään ja toisella kielellä testattujen välillä. Keskiarvot eivät kerro yksilöistä mitään, ja pisteet vaihtelevat paljon jokaisen ryhmän sisällä. Kun käytetään korkeaa karsintarajaa tai tiukkaa paremmuusjärjestystä ylhäältä alaspäin, jo kohtalaiset keskiarvoerot voivat silti johtaa siihen, että ryhmiä valitaan eri suhteessa. Tätä kutsutaan haitalliseksi vaikutukseksi (adverse impact).
Riskiä ei voi poistaa kokonaan, mutta sitä voi pienentää ja valintansa voi perustella:
- Määritä vaadittu taso työn perusteella sen sijaan, että valitset oletuksena korkeimmat pisteet saaneet.
- Käytä karsintarajoja säästeliäästi. Maltillinen vähimmäistaso tai kokonaan ilman karsintarajaa muun näytön rinnalla punnittu pistemäärä aiheuttaa yleensä vähemmän haitallista vaikutusta kuin korkea kiinteä raja.
- Yhdistä menetelmiä. Strukturoidut haastattelut, persoonallisuusarvioinnit tai työnäytteet laajentavat näyttöä ja pienentävät yksittäisen testin painoarvoa.
- Testaa oikealla kielellä. Toisella kielellä tehty verbaalinen testi mittaa osin kielitaitoa. Tarjoa mahdollisuuksien mukaan validoitu versio hakijan omalla kielellä tai anna abstraktille päättelylle enemmän painoa.
- Suunnittele mukautukset. Sovi etukäteen järjestelyistä, kuten lisäajasta lukivaikeuden vuoksi tai ruudunlukijalle sopivasta versiosta, ja ota ne huomioon pisteitä tulkitessasi.
- Tarkista vinoumat. Pyydä testin toimittajalta reiluusanalyysit kieliversioittain ja seuraa, jos se on lain mukaan sallittua, valintasuhteita omassa prosessissasi.
Sivulla Reiluus ja vinoumat kerrotaan, miten osioiden vinoumaa, mittausinvarianssia ja haitallista vaikutusta analysoidaan ja mitä nämä analyysit eivät pysty osoittamaan.
Testausolosuhteet verkossa
Useimmat rekrytoinnin kognitiiviset testit tehdään nykyään verkossa, kotona ja ilman valvontaa. Se on hakijoille nopeaa ja kätevää, mutta herättää kaksi kysymystä: onko testin tekijä todella hakija, ja tekikö hän testin yksin?
Tehtäväpankit ja satunnaistetut versiot
Hyvin rakennetut verkkotestit poimivat tehtävänsä laajasta tehtäväpankista, joten hakijat saavat erilaisia mutta keskenään vastaavia versioita. Jaetuista vastauksista on silloin vähän hyötyä, eikä ulkoa opeteltuja tehtäviä todennäköisesti tule vastaan uudelleen.
Aikarajat
Useimmissa päättelytesteissä on aikaraja. Se pitää tulokset vertailukelpoisina ja vaikeuttaa asioiden etsimistä muualta, mutta se tuo mitattavaan myös nopeuden. Varmista, että aikaraja on sama kuin normiryhmällä, ja kerro hakijoille etukäteen, kuinka paljon aikaa heillä on.
Varmistus ratkaisevissa vaiheissa
Kun valvomatta tehdyllä pistemäärällä on todellista painoa päätöksessä, harkitse prosessin myöhemmässä vaiheessa lyhyttä valvottua varmistustestiä paikan päällä tai etävalvottuna ja vertaa sitä ensimmäiseen tulokseen. Kerro tästä hakijoille heti alussa.
Hakijakokemus
Kerro hakijoille, mihin testiä käytetään, kuinka kauan se kestää, millä laitteella se toimii parhaiten ja miten tuloksia hyödynnetään. Selkeät harjoitustehtävät alussa ja rauhallinen, saavutettava käyttöliittymä auttavat vähentämään testijännitystä, joka voi laskea pisteitä kertomatta mitään kyvyistä.
Harjoittelu ja valmistautuminen
Hakijat valmistautuvat päättelytesteihin, usein harjoitustesteillä esimerkiksi Assessment-Training.comin kaltaisilla sivustoilla. Kun tehtävätyypit ovat tuttuja, jännitys ja ohjeisiin liittyvä hämmennys vähenevät, joten pistemäärä kuvastaa todennäköisemmin todellista päättelykykyä.
Harjoittelulla on vaikutusta. Pisteet nousevat yleensä jonkin verran, kun ihminen on jo tehnyt saman tai samankaltaisen testin, lähinnä testimuodon tuttuuden ja paremman ajankäytön ansiosta. Tämä on yksi syy pitää uusintakertojen välillä odotusaika ja olla vertaamatta uusintatulosta suoraan ensimmäiseen yritykseen.
Työnantajalle johtopäätös on rauhoittava. Laajan tehtäväpankin ja satunnaistettujen versioiden ansiosta harjoittelu tarkoittaa testimuotoon tottumista, ei vastausten opettelua. Avoimuus testistä ja sen tehtävätyypeistä asettaa myös hakijat, joilla on tai ei ole ollut mahdollisuutta valmistautua, tasavertaisempaan asemaan.
Tulosten hyvä käyttö
Pistemäärä saa merkityksen vasta, kun tiedät, mihin sitä verrataan. Raportit ilmaisevat tuloksen yleensä persentiilinä, staniinina tai vastaavana pistemääränä suhteessa normiryhmään. Valitse tehtävän tasoon sopiva normiryhmä: korkeakoulutettujen tehtävään hakevia pitää verrata vastaavaan joukkoon, ei koko työssä käyvään väestöön.
Kaksi hakijaa kuvitteelliseen data-analyytikon tehtävään tekee numeerisen ja verbaalisen päättelyn testit. Korkeakoulutettujen normiryhmään verrattuna hakija A sijoittuu numeerisessa päättelyssä 72. persentiiliin ja hakija B 68. persentiiliin. Heidän luottamusvälinsä menevät lähes kokonaan päällekkäin, joten testi ei erottele heitä. Rekrytointitiimi päättää jatkoon pääsevästä strukturoidun haastattelun ja työnäytteen perusteella.
- Pidä pistemäärää yhtenä näytön lähteenä haastattelujen, työnäytteiden ja suositusten rinnalla.
- Katso luottamusvälejä: pienet erot hakijoiden välillä jäävät usein mittausvirheen sisään.
- Päätä etukäteen, miten pistemäärää painotetaan, jotta kaikkia hakijoita kohdellaan samalla tavalla.
- Anna ihmisen päättää. Älä käytä kognitiivista pistemäärää hakijoiden automaattiseen hylkäämiseen.
Kun ohjelmisto tai tekoäly asettaa hakijoita järjestykseen tai suodattaa heitä, EU:n tekoälysäädös luokittelee sen suuririskiseksi ja edellyttää ihmisen suorittamaa valvontaa; katso EU:n tekoälysäädös ja arvioinnit rekrytoinnissa.
Lähteet
- Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin.
- Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.