Reliabilitet og validitet: hvad HR-folk skal vide
To ord, der står i alle testmanualer og indgår i alle leverandørpræsentationer. Denne guide forklarer, hvad de betyder i praksis, hvilke tal du skal kigge efter, og hvad du skal spørge om, før du bruger en test som grundlag for beslutninger om mennesker.
Kort fortalt
- Reliabilitet handler om konsistens: Ville den samme person få omtrent den samme score igen?
- Validitet handler om betydning: Understøtter scoren den konklusion, du vil drage, for denne rolle, denne gruppe og dette sprog?
- Hver score er et interval, ikke et punkt. Målingens standardfejl fortæller, hvor bredt det er.
- Validitetskoefficienter ved udvælgelse er beskedne tal, der stadig betyder noget, og velvalgte metoder supplerer hinanden.
- Spørg efter evidensen bag hvert tal: stikprøve, population, sprogversion og tilsigtet formål.
Hvorfor de to ord betyder noget, når du vælger en test
En test giver dig et tal, der indgår i en beslutning om en person. Tallet er kun nyttigt, hvis to ting er opfyldt. Det skal være konsistent: Den samme person, målt to gange under de samme forhold, skal få omtrent det samme resultat. Og det skal betyde noget for beslutningen: En højere score skal følges ad med mere af det, der betyder noget i rollen.
Det første er reliabilitet, det andet validitet. En test kan være meget reliabel og alligevel måle noget, der er irrelevant for jobbet. Det omvendte går ikke: En test med inkonsistente resultater kan heller ikke forudsige noget konsistent. Reliabilitet er en forudsætning for validitet, ikke en erstatning for den.
Reliabilitet: hvor konsistent er scoren?
Reliabilitet udtrykkes som en koefficient mellem 0 og 1. Der findes flere slags, og hver besvarer et andet spørgsmål.
Test-retest-reliabilitet
De samme personer tager testen to gange. En høj korrelation betyder, at scorerne er stabile over tid, hvilket er vigtigt for træk, der forventes at være stabile, som personlighed. Intervallet har betydning: For kort, og folk husker deres svar; for langt, og reel forandring blandes ind.
Intern konsistens
Måler en skalas items det samme? Det sædvanlige mål er Cronbachs alfa; McDonalds omega er ofte mere velegnet, når items afspejler konstruktet med forskellig styrke. En ofte citeret tommelfingerregel er, at omkring 0,70 kan række til forskning på gruppeniveau, mens beslutninger om enkeltpersoner kræver tydeligt højere værdier. Testvurderingsmodeller fastsætter deres egne grænser afhængigt af, hvad der står på spil; se hvordan kvalitetskriterier for test fungerer.
Interrater-reliabilitet
Når det er bedømmere og ikke en scoringsnøgle, der giver scoren, som ved interviews og øvelser i assessment centre, er spørgsmålet, om forskellige bedømmere når frem til den samme vurdering. Det rapporteres som en intraklassekorrelation eller Cohens kappa. Strukturerede spørgsmål, adfærdsbaserede bedømmelsesskalaer og træning af bedømmerne øger den.
Målingens standardfejl
En reliabilitetskoefficient beskriver testen på tværs af en gruppe. For den enkelte er målingens standardfejl (SEM) mere nyttig: skalaens standardafvigelse ganget med kvadratroden af én minus reliabiliteten. Den viser, hvor langt en observeret score kan ligge fra den score, personen ville få uden målefejl.
En personlighedsskala bruger T-scorer (gennemsnit 50, standardafvigelse 10) og har en reliabilitet på 0,84 i den relevante normgruppe. SEM er 10 × √(1 − 0,84) = 4 point, og et 95-procents-interval strækker sig omkring to SEM til hver side af en score. Kandidat A scorer 56, altså cirka 48 til 64; kandidat B scorer 52, cirka 44 til 60. Intervallerne overlapper næsten helt: Forskellen på 4 point siger meget lidt og bør ikke afgøre en rangordning.
Validitet: betyder scoren det, du har brug for?
Validitet er den vigtigste af de to. Gældende faglige standarder betragter den ikke som en fast egenskab ved en test, men som den grad, hvormed evidens understøtter en bestemt fortolkning af scorer til en bestemt anvendelse. Det nyttige spørgsmål er derfor ikke, om en test er valid, men: valid til hvad, for hvem og på hvilket sprog?
Indholdsvaliditet
Dækker items det, der betyder noget i rollen, og kun det? Det vurderes som regel af fageksperter, for eksempel ved at sammenligne opgaverne i en færdighedstest med jobanalysen.
Begrebsvaliditet
Måler testen det, den hævder at måle? Evidensen omfatter faktorstrukturen, korrelationer med beslægtede og ikke-beslægtede mål, og om strukturen holder i hver sprogversion. Uden den ved du reelt ikke, hvad navnet på en skala dækker over.
Kriterievaliditet og prædiktiv validitet
Hænger scorerne sammen med udfald, der betyder noget, som jobpræstation, uddannelsesresultater eller fastholdelse? Et prædiktivt design tester folk ved ansættelsen og måler udfaldet senere. Et samtidigt (konkurrent) design tester nuværende medarbejdere, hvilket er hurtigere, men den gruppe er allerede udvalgt, hvilket typisk gør korrelationerne mindre. Kriteriet betyder også noget: En vag eller inkonsistent præstationsvurdering begrænser, hvor høj en validitetskoefficient overhovedet kan blive.
Hvor stort er godt? Sådan læser du validitetskoefficienter
Kriterievaliditet rapporteres som regel som en korrelation, og ved personaleudvælgelse er disse korrelationer beskedne. Det er normalt: Præstation afhænger af meget, som en test ikke kan indfange, fra teamet og lederen til livet uden for arbejdet. En korrelation omkring 0,30 er et betydningsfuldt resultat på dette felt, ikke et svagt.
Sackett, Zhang, Berry og Lievens (2022) gennemgik den metaanalytiske evidens igen og nåede frem til mere forsigtige estimater end ældre tal, der stadig citeres bredt, primært fordi de vurderede, at tidligere korrektioner for begrænset variationsbredde var for store. Blandt deres estimater:
- Strukturerede interviews: omkring 0,42
- Generel kognitiv evne: omkring 0,31
- Samvittighedsfuldhed: omkring 0,19
Tre ting følger heraf. Det er gennemsnit på tværs af mange undersøgelser og roller, korrigeret for statistiske artefakter, så en bestemt test i din sammenhæng kan klare sig bedre eller dårligere. Alle ligger klart over nul: Anvendt konsekvent på tværs af mange ansættelsesbeslutninger forbedrer selv beskeden validitet det gennemsnitlige resultat sammenlignet med ustruktureret vurdering. Og metoder, der måler forskellige ting, tilføjer information. Kognitiv evne og samvittighedsfuldhed hænger kun svagt sammen, så en kombination forudsiger typisk bedre end hver for sig. Samme ræsonnement taler for at bruge kognitive evnetest sammen med et struktureret interview i stedet for som erstatning for det.
Sådan læser du en teknisk manual: spørgsmål at stille
Et tal i en brochure betyder ikke meget uden sin sammenhæng, og en god teknisk manual giver den sammenhæng. Uanset om du læser en manual eller taler med en leverandør, hjælper disse spørgsmål.
- Hvilken slags reliabilitet rapporteres, og er målingens standardfejl angivet?
- Hvor stor var stikprøven, og hvem indgik i den: land, sprog, jobniveau? Koefficienter fra nogle få dusin personer er ustabile.
- Hvilken sprogversion vedrører evidensen? En oversættelse kræver sine egne data, før du kan gå ud fra, at den fungerer på samme måde.
- Hvad var kriteriet i validitetsundersøgelserne, hvordan blev det målt, og var designet prædiktivt eller samtidigt?
- Til hvilken anvendelse gælder evidensen: udvælgelse, udvikling, en bestemt gruppe af roller?
- Hvor ny er den, og hvad siger manualen om, hvad der ikke er undersøgt?
«Testen er valideret» uden at sige til hvad, med hvem og med hvilke tal, besvarer ikke spørgsmålet. Ufuldstændig evidens er acceptabel, især for nye test, så længe det oplyses åbent. På Match.hr viser hver tests psykometriske deklaration reliabiliteten sammen med den stikprøve, den bygger på, det tilsigtede formål og de sprogversioner, der er analyseret.
Hvordan det hænger sammen med normer og fairness
En score kan først fortolkes ved siden af en sammenligningsgruppe, så det næste spørgsmål er, hvilken normgruppe der passer til dine kandidater, og hvor ny den er; se normgrupper forklaret. Og en test kan forudsige godt i gennemsnit og samtidig fungere anderledes for nogle grupper, for eksempel når et item afhænger af sprog eller kulturel viden, der ikke er en del af det, den skal måle. Vores side om fairness og bias beskriver, hvordan det undersøges.
Konsistente scorer læst som intervaller, evidens for netop din anvendelse, en passende normgruppe og fairnessanalyser, hvor det er lovligt: Tilsammen gør de en test til et solidt grundlag for en gennemtænkt beslutning truffet af et menneske, ikke en erstatning for den.
Kilder
- American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
- Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.