Reliabilitet og validitet: dette bør HR vite
To ord som står i hver testhåndbok og hver leverandørpresentasjon. Denne guiden forklarer hva de betyr i praksis, hvilke tall du bør se etter, og hva du bør spørre om før du bruker en test som grunnlag for beslutninger om mennesker.
Kort fortalt
- Reliabilitet handler om konsistens: ville den samme personen fått omtrent den samme skåren igjen?
- Validitet handler om mening: støtter skåren den konklusjonen du vil trekke, for denne rollen, denne gruppen og dette språket?
- Hver skåre er et intervall, ikke et punkt. Standard målefeil forteller hvor bredt det er.
- Validitetskoeffisienter i seleksjon er moderate tall som likevel har betydning, og godt valgte metoder utfyller hverandre.
- Be om dokumentasjonen bak hvert tall: utvalg, populasjon, språkversjon og tiltenkt bruk.
Hvorfor disse to ordene betyr noe når du velger en test
En test gir deg et tall som inngår i en beslutning om en person. Det tallet er bare nyttig hvis to ting er oppfylt. Det må være konsistent: den samme personen, målt to ganger under de samme betingelsene, bør få omtrent det samme resultatet. Og det må bety noe for beslutningen: en høyere skåre bør henge sammen med mer av det som betyr noe i rollen.
Det første er reliabilitet, det andre validitet. En test kan være svært reliabel og likevel måle noe som er irrelevant for jobben. Det motsatte går ikke: en test med inkonsistente resultater kan heller ikke predikere noe på en konsistent måte. Reliabilitet er en forutsetning for validitet, ikke en erstatning for den.
Reliabilitet: hvor konsistent er skåren?
Reliabilitet uttrykkes som en koeffisient mellom 0 og 1. Det finnes flere typer, og hver av dem svarer på et ulikt spørsmål.
Test–retest-reliabilitet
De samme personene tar testen to ganger. En høy korrelasjon betyr at skårene er stabile over tid, noe som er viktig for trekk som forventes å være stabile, som personlighet. Intervallet har betydning: er det for kort, husker folk svarene sine, er det for langt, blandes reell endring inn.
Indre konsistens
Måler itemene i en skala det samme? Den vanligste indeksen er Cronbachs alfa; McDonalds omega er ofte bedre egnet når itemene gjenspeiler begrepet med ulik styrke. En ofte sitert tommelfingerregel er at rundt 0,70 kan holde for forskning på gruppenivå, mens beslutninger om enkeltpersoner krever klart høyere verdier. Testvurderingsmodeller setter egne terskler, avhengig av hva som står på spill; se hvordan kvalitetskriterier for tester fungerer.
Interrater-reliabilitet
Når det er bedømmere og ikke en skåringsnøkkel som gir skåren, som i intervjuer og øvelser i assessment center, er spørsmålet om ulike bedømmere kommer frem til samme vurdering. Dette rapporteres som en intraklassekorrelasjon eller Cohens kappa. Strukturerte spørsmål, atferdsbaserte vurderingsskalaer og opplæring av bedømmere øker den.
Standard målefeil
En reliabilitetskoeffisient beskriver testen på tvers av en gruppe. For en enkeltperson er standard målefeil (SEM) mer nyttig: standardavviket for skalaen multiplisert med kvadratroten av én minus reliabiliteten. Den viser hvor langt en observert skåre kan ligge fra den skåren personen ville fått uten målefeil.
En personlighetsskala bruker T-skårer (gjennomsnitt 50, standardavvik 10) og har en reliabilitet på 0,84 i den relevante normgruppen. SEM er 10 × √(1 − 0,84) = 4 poeng, og et 95-prosentintervall strekker seg omtrent to SEM på hver side av en skåre. Kandidat A skårer 56, altså omtrent 48 til 64; kandidat B skårer 52, omtrent 44 til 60. Intervallene overlapper nesten helt: forskjellen på 4 poeng sier svært lite og bør ikke avgjøre en rangering.
Validitet: betyr skåren det du trenger at den betyr?
Validitet er den viktigste av de to. Dagens faglige standarder ser ikke på validitet som en fast egenskap ved en test, men som graden av støtte i dokumentasjonen for en bestemt tolkning av skårer til en bestemt bruk. Det nyttige spørsmålet er derfor ikke om en test er valid, men: valid til hva, for hvem og på hvilket språk?
Innholdsvaliditet
Dekker itemene det som betyr noe i rollen, og bare det? Fageksperter vurderer som regel dette, for eksempel ved å sammenligne oppgavene i en ferdighetstest med jobbanalysen.
Begrepsvaliditet
Måler testen det den hevder å måle? Dokumentasjonen omfatter faktorstrukturen, korrelasjoner med lignende og ulike mål, og om strukturen holder i hver språkversjon. Uten dette vet du egentlig ikke hva navnet på en skala står for.
Kriterievaliditet og prediktiv validitet
Henger skårene sammen med utfall som betyr noe, som jobbprestasjon, opplæringsresultater eller at folk blir værende? Et prediktivt design tester personer ved ansettelse og måler utfallet senere. Et samtidig (konkurrent) design tester nåværende ansatte, noe som går raskere, men den gruppen er allerede selektert, noe som gjerne gjør korrelasjonene mindre. Kriteriet har også betydning: en vag eller inkonsistent prestasjonsvurdering begrenser hvor høy en validitetskoeffisient kan bli.
Hvor høyt er bra? Slik leser du validitetskoeffisienter
Kriterievaliditet rapporteres vanligvis som en korrelasjon, og i personellseleksjon er disse korrelasjonene moderate. Det er normalt: prestasjon avhenger av mye som en test ikke kan fange opp, fra teamet og lederen til livet utenfor jobben. En korrelasjon rundt 0,30 er et meningsfullt resultat på dette feltet, ikke et svakt.
Sackett, Zhang, Berry og Lievens (2022) gikk gjennom den metaanalytiske dokumentasjonen på nytt og kom frem til mer forsiktige estimater enn eldre tall som fortsatt siteres mye, hovedsakelig fordi de mente at tidligere korreksjoner for variasjonsbegrensning var for store. Blant estimatene deres:
- Strukturerte intervjuer: omtrent 0,42
- Generell kognitiv evne: omtrent 0,31
- Planmessighet: omtrent 0,19
Tre ting følger av dette. Dette er gjennomsnitt over mange studier og roller, korrigert for statistiske artefakter, så en bestemt test i din sammenheng kan gjøre det bedre eller dårligere. Alle ligger klart over null: brukt konsekvent i mange ansettelsesbeslutninger forbedrer selv moderat validitet det gjennomsnittlige utfallet sammenlignet med ustrukturert skjønn. Og metoder som måler ulike ting, tilfører informasjon. Kognitiv evne og planmessighet henger bare svakt sammen, så en kombinasjon predikerer som regel bedre enn hver av dem alene. Det samme resonnementet taler for å bruke kognitive evnetester sammen med et strukturert intervju, ikke i stedet for det.
Slik leser du en teknisk håndbok: spørsmål å stille
Et tall i en brosjyre betyr lite uten sammenhengen det står i, og en god teknisk håndbok gir den sammenhengen. Enten du leser en håndbok eller snakker med en leverandør, kan disse spørsmålene hjelpe.
- Hvilken type reliabilitet rapporteres, og er standard målefeil oppgitt?
- Hvor stort var utvalget, og hvem var med: land, språk, stillingsnivå? Koeffisienter fra noen få dusin personer er ustabile.
- Hvilken språkversjon gjelder dokumentasjonen? En oversettelse trenger egne data før du kan anta at den fungerer på samme måte.
- Hva var kriteriet i validitetsstudiene, hvordan ble det målt, og var designet prediktivt eller samtidig?
- For hvilken bruk gjelder dokumentasjonen: seleksjon, utvikling, en bestemt gruppe roller?
- Hvor ny er den, og hva sier håndboken om hva som ikke er undersøkt?
«Testen er validert», uten at det står til hva, med hvem og med hvilke tall, svarer ikke på spørsmålet. Ufullstendig dokumentasjon er akseptabelt, særlig for nye tester, så lenge det sies åpent. I Match.hr viser den psykometriske deklarasjonen for hver test reliabiliteten med utvalget den bygger på, tiltenkt bruk og hvilke språkversjoner som er analysert.
Sammenhengen med normer og rettferdighet
En skåre blir først tolkbar ved siden av en sammenligningsgruppe, så neste spørsmål er hvilken normgruppe som passer kandidatene dine, og hvor ny den er; se normgrupper forklart. En test kan dessuten predikere godt i gjennomsnitt, men fungere annerledes for enkelte grupper, for eksempel når et item avhenger av språk eller kulturkunnskap som ikke er en del av det det skal måle. Siden vår om rettferdighet og skjevhet tar for seg hvordan dette undersøkes.
Konsistente skårer lest som intervaller, dokumentasjon for akkurat din bruk, en passende normgruppe og analyser av rettferdighet der det er lovlig: sammen gjør de en test til et solid grunnlag for en gjennomtenkt beslutning tatt av et menneske, ikke en erstatning for den.
Kilder
- American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
- Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.