Kognitive evnetester i rekruttering
Tester i numerisk, verbal og abstrakt resonnering er et vanlig steg i rekruttering. Denne guiden forklarer hva de måler, hva nyere forskning sier om hvor godt de predikerer prestasjon, og hvordan du bruker dem rettferdig og med omtanke.
Kort fortalt
- Kognitive evnetester måler resonnering med tall, ord og mønstre; velg deltester ut fra hva rollen krever.
- De er fortsatt en nyttig prediktor for jobbprestasjon, særlig i komplekse jobber, men nyere estimater er lavere enn tallene som ofte siteres.
- Gjennomsnittlige gruppeforskjeller kan gi ugunstige utslag for enkelte grupper (adverse impact): fastsett et jobbrelevant nivå, bruk grenseverdier med varsomhet og kombiner metoder.
- Oppgavebanker, tydelige tidsgrenser og verifisering ved avgjørende steg gjør testing på nett mer robust.
- Sammenlign skårer med en passende normgruppe, behandle dem som én informasjonskilde blant flere, og la et menneske bestemme.
Hva kognitive evnetester måler
Kognitive evnetester, også kalt evne- eller resonneringstester, måler hvor godt noen tar inn ny informasjon, ser sammenhenger og løser problemer under standardiserte betingelser. De måler ikke fagkunnskap, innsats eller personlighet. I rekruttering er tre typer deltester vanlige:
- Numerisk resonnering: å trekke slutninger fra tall, tabeller og diagrammer. Regningen er som regel enkel; vanskeligheten ligger i å velge riktige data og riktige steg.
- Verbal resonnering: å vurdere om et utsagn følger av en kort tekst, motsies av den eller ikke kan avgjøres ut fra den.
- Abstrakt eller logisk resonnering: å finne regelen i serier av former, figurer eller tall, med liten avhengighet av språk eller forkunnskaper.
Generelle og spesifikke evner
Skårer på ulike resonneringstester har en tendens til å korrelere. De fleste intelligensmodeller beskriver derfor en generell faktor øverst, med bredere og smalere evner under. For rekruttering betyr dette at en kombinasjon av deltester gir et mer reliabelt estimat av generell evne enn én enkelt deltest, mens en spesifikk deltest fortjener plassen sin når rollen tydelig krever det, for eksempel numerisk resonnering for en finansanalytiker.
Velg deltester ut fra en jobbanalyse, ikke ut fra vane. Siden om kognitive evnetester viser hvilke deltester og formater som finnes i Match.hr.
Hva de predikerer, og hvor sterkt
Kognitiv evne er en av de mest utforskede prediktorene for jobbprestasjon. Lenge var referansepunktet en metaanalyse av Schmidt og Hunter (1998), som anslo validiteten av generell mental evne for jobbprestasjon til omtrent 0,51, blant de høyeste av seleksjonsmetodene de sammenlignet.
Sackett, Zhang, Berry og Lievens (2022) gikk på nytt gjennom hvordan de tidligere studiene korrigerte for variasjonsbegrensning (range restriction): validitet kan bare beregnes for personer som ble ansatt, og den gruppen varierer mindre enn hele søkermassen. De konkluderte med at disse korreksjonene ofte var for store. Deres reviderte estimat for generell kognitiv evne er omtrent 0,31, mot omtrent 0,42 for strukturerte intervjuer.
Validitetskoeffisienter er gjennomsnitt over mange studier og jobber. Om en bestemt test predikerer godt i din sammenheng, avhenger også av reliabiliteten, hvor relevante deltestene er for rollen og hvordan skårene brukes. Guiden om reliabilitet og validitet forklarer hvordan du leser disse tallene.
Rettferdighet og ugunstige utslag
På enkelte kognitive tester har grupper ulik gjennomsnittsskåre, for eksempel etter utdanningsbakgrunn, eller mellom personer som testes på førstespråket og på andrespråket sitt. Gjennomsnitt sier ingenting om enkeltpersoner, og skårene varierer mye innenfor hver gruppe. Når man bruker en høy grenseverdi eller streng rangering ovenfra og ned, kan likevel selv moderate gjennomsnittsforskjeller gi ulike seleksjonsrater mellom grupper. Dette kalles adverse impact, eller ugunstige utslag.
Du kan ikke fjerne denne risikoen helt, men du kan redusere den og begrunne valgene dine:
- Fastsett nødvendig nivå ut fra jobben, i stedet for å velge de høyest skårende som standard.
- Bruk grenseverdier med varsomhet. Et moderat minimum, eller ingen grenseverdi i det hele tatt og en skåre som veies sammen med annen informasjon, gir som regel mindre ugunstige utslag enn en høy, fast terskel.
- Kombiner metoder. Strukturerte intervjuer, personlighetstester eller arbeidsprøver gir et bredere grunnlag og reduserer vekten av den enkelte test.
- Test på riktig språk. En verbal test på et andrespråk måler delvis språkferdigheter. Tilby om mulig en validert versjon på kandidatens eget språk, eller legg mer vekt på abstrakt resonnering.
- Planlegg tilrettelegging. Avtal tilpasninger som ekstra tid ved dysleksi eller en versjon tilpasset skjermleser på forhånd, og noter dem når du tolker skårene.
- Sjekk for skjevhet. Be testleverandøren om analyser av rettferdighet per språkversjon og, der det er lovlig, følg med på seleksjonsratene i din egen prosess.
Siden om rettferdighet og skjevhet forklarer hvordan itemskjevhet (item bias), målingsinvarians og ugunstige utslag analyseres, og hva slike analyser ikke kan vise.
Testbetingelser på nett
De fleste kognitive tester i rekruttering tas nå på nett, hjemme og uten tilsyn. Det er raskt og praktisk for kandidatene, men reiser to spørsmål: er det virkelig kandidaten som tar testen, og arbeidet vedkommende alene?
Oppgavebanker og randomiserte versjoner
Godt konstruerte nettester henter oppgavene sine fra en stor bank, slik at kandidater får ulike, men likeverdige versjoner. Delte svar er da til liten nytte, og oppgaver man har pugget, dukker neppe opp igjen.
Tidsgrenser
De fleste resonneringstester har tidsbegrensning. En tidsgrense holder resultatene sammenlignbare og gjør det vanskeligere å slå opp svar, men den gjør også at hastighet blir en del av det som måles. Sjekk at tidsgrensen er den samme som ble brukt for normgruppen, og fortell kandidatene på forhånd hvor lang tid de får.
Verifisering ved avgjørende steg
Når en skåre fra en test uten tilsyn får reell vekt i en beslutning, bør du vurdere en kort verifiseringstest med tilsyn senere i prosessen, på stedet eller i en overvåket økt, og sammenligne den med det første resultatet. Informer kandidatene om dette ved starten.
Kandidatopplevelse
Fortell kandidatene hva testen skal brukes til, hvor lang tid den tar, hvilken enhet som fungerer best og hvordan resultatene skal brukes. Tydelige øvingsoppgaver i starten og et rolig, tilgjengelig grensesnitt bidrar til å redusere testangst, som kan senke skårene uten å si noe om evner.
Øving og forberedelse
Kandidater forbereder seg til resonneringstester, ofte med øvingstester på nettsteder som Assessment-Training.com. Kjennskap til oppgavetypene reduserer nervøsitet og forvirring rundt instruksjonene, slik at skåren i større grad gjenspeiler faktisk resonneringsevne.
Øving har en effekt. Skårene stiger gjerne noe når noen allerede har tatt den samme eller en lignende test, hovedsakelig fordi de kjenner formatet og bruker tiden bedre. Det er én grunn til å ha en karenstid mellom gjentatte forsøk og ikke sammenligne et nytt forsøk direkte med det første.
For arbeidsgivere er konklusjonen beroligende. Med en stor oppgavebank og randomiserte versjoner betyr øving at man blir vant til formatet, ikke at man lærer seg svarene. Åpenhet om testen og oppgavetypene stiller også kandidater med og uten tilgang til forberedelse mer likt.
Bruk resultatene på en god måte
En skåre blir først meningsfull når du vet hva den sammenlignes med. Rapporter uttrykker vanligvis et resultat som en persentil, stanine eller lignende skåre mot en normgruppe. Velg en normgruppe som passer jobbnivået: kandidater til en trainee- eller nyutdannetstilling bør sammenlignes med en tilsvarende populasjon, ikke med hele den yrkesaktive befolkningen.
To kandidater til en fiktiv stilling som dataanalytiker tar tester i numerisk og verbal resonnering. Mot en normgruppe av nyutdannede skårer kandidat A på 72. persentil i numerisk resonnering og kandidat B på 68. persentil. Konfidensintervallene deres overlapper nesten helt, så testen skiller ikke mellom dem. Ansettelsesteamet bruker det strukturerte intervjuet og en arbeidsprøve for å avgjøre hvem som går videre.
- Behandle skåren som én informasjonskilde, ved siden av intervjuer, arbeidsprøver og referanser.
- Se på konfidensintervallene: små forskjeller mellom kandidater ligger ofte innenfor målefeilen.
- Bestem på forhånd hvordan skåren skal vektes, slik at alle kandidater behandles likt.
- La et menneske bestemme. Ikke bruk en kognitiv skåre til å avvise kandidater automatisk.
Der programvare eller KI rangerer eller filtrerer kandidater, klassifiserer EUs KI-forordning dette som høyrisiko og krever menneskelig tilsyn; se EUs KI-forordning og tester.
Kilder
- Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin.
- Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.