Reliabilitet och validitet: vad HR-yrkesverksamma behöver veta
Två ord som förekommer i varje testmanual och varje leverantörspresentation. Den här guiden förklarar vad de betyder i praktiken, vilka siffror du ska titta efter och vad du ska fråga innan du låter ett test ligga till grund för beslut om människor.
Kortfattat
- Reliabilitet handlar om konsistens: skulle samma person få ungefär samma resultat igen?
- Validitet handlar om innebörd: stöder resultatet den slutsats du vill dra, för den här rollen, den här gruppen och det här språket?
- Varje resultat är ett intervall, inte en punkt. Standardmätfelet visar hur brett det är.
- Validitetskoefficienter vid urval är måttliga tal som ändå har betydelse, och väl valda metoder kompletterar varandra.
- Fråga efter underlaget bakom varje siffra: urval, population, språkversion och avsedd användning.
Varför de här två orden spelar roll när du väljer ett test
Ett test ger dig ett tal som ligger till grund för ett beslut om en person. Det talet är bara användbart om två saker stämmer. Det måste vara konsistent: samma person som mäts två gånger under samma förhållanden ska få ungefär samma resultat. Och det måste betyda något för beslutet: ett högre resultat ska gå hand i hand med mer av det som har betydelse i rollen.
Det första är reliabilitet, det andra validitet. Ett test kan vara mycket reliabelt och ändå mäta något som är irrelevant för arbetet. Det omvända fungerar inte: ett test med inkonsekventa resultat kan inte heller förutsäga något på ett konsekvent sätt. Reliabilitet är en förutsättning för validitet, inte en ersättning för den.
Reliabilitet: hur konsistent är resultatet?
Reliabilitet uttrycks som en koefficient mellan 0 och 1. Det finns flera slag, och vart och ett besvarar en annan fråga.
Test–retest-reliabilitet
Samma personer gör testet två gånger. En hög korrelation innebär att resultaten är stabila över tid, vilket har betydelse för egenskaper som förväntas vara stabila, till exempel personlighet. Intervallet spelar roll: är det för kort minns personerna sina svar, är det för långt blandas verklig förändring in.
Intern konsistens
Mäter uppgifterna i en skala samma sak? Det vanliga måttet är Cronbachs alfa; McDonalds omega är ofta mer lämpligt när uppgifterna speglar begreppet med olika styrka. En ofta citerad tumregel är att runt 0,70 kan räcka för forskning på gruppnivå, medan beslut om individer kräver klart högre värden. Modeller för testbedömning sätter egna gränser beroende på vad som står på spel; se hur kvalitetskriterier för tester fungerar.
Interbedömarreliabilitet
När bedömare snarare än en poängnyckel tar fram resultatet, som i intervjuer och övningar i ett assessment center, är frågan om olika bedömare kommer fram till samma bedömning. Det redovisas som en intraklasskorrelation eller Cohens kappa. Strukturerade frågor, beteendeförankrade bedömningsskalor och bedömarutbildning höjer den.
Standardmätfelet
En reliabilitetskoefficient beskriver testet för en grupp. För en individ är standardmätfelet (SEM) mer användbart: skalans standardavvikelse multiplicerad med kvadratroten ur ett minus reliabiliteten. Det visar hur långt ett observerat resultat kan ligga från det resultat personen skulle få utan mätfel.
En personlighetsskala använder T-poäng (medelvärde 50, standardavvikelse 10) och har en reliabilitet på 0,84 i den relevanta normgruppen. SEM är 10 × √(1 − 0,84) = 4 poäng, och ett 95-procentigt intervall sträcker sig ungefär två SEM på var sida om ett resultat. Kandidat A får 56, alltså ungefär 48 till 64; kandidat B får 52, ungefär 44 till 60. Intervallen överlappar nästan helt: skillnaden på 4 poäng säger mycket lite och bör inte avgöra en rangordning.
Validitet: betyder resultatet det du behöver att det betyder?
Validitet är den viktigaste av de två. Aktuella professionella standarder ser den inte som en fast egenskap hos ett test, utan som den grad i vilken belägg stöder en viss tolkning av resultaten för en viss användning. Den användbara frågan är alltså inte om ett test är validt, utan: validt för vad, för vilka och på vilket språk?
Innehållsvaliditet
Täcker uppgifterna det som har betydelse i rollen, och bara det? Ämnesexperter bedömer oftast detta, till exempel genom att jämföra uppgifterna i ett färdighetstest med arbetsanalysen.
Begreppsvaliditet
Mäter testet det som det påstår sig mäta? Belägg är bland annat faktorstrukturen, korrelationer med liknande och olika mått, och om strukturen håller i varje språkversion. Utan det vet du inte riktigt vad namnet på en skala står för.
Kriterievaliditet och prediktiv validitet
Hänger resultaten samman med utfall som har betydelse, som arbetsprestation, utbildningsresultat eller att personer stannar kvar? En prediktiv design testar personer vid anställningen och mäter utfallet senare. En samtidig design testar nuvarande anställda, vilket går snabbare, men den gruppen har redan genomgått urval, vilket tenderar att göra korrelationerna mindre. Kriteriet spelar också roll: en vag eller inkonsekvent prestationsbedömning begränsar hur hög en validitetskoefficient över huvud taget kan bli.
Hur stort är bra? Att läsa validitetskoefficienter
Kriterievaliditet redovisas oftast som en korrelation, och vid personalurval är de korrelationerna måttliga. Det är normalt: prestation beror på mycket som ett test inte kan fånga, från teamet och chefen till livet utanför arbetet. En korrelation runt 0,30 är ett meningsfullt resultat inom det här området, inte ett svagt.
Sackett, Zhang, Berry och Lievens (2022) granskade de metaanalytiska beläggen på nytt och kom fram till mer försiktiga skattningar än äldre, fortfarande flitigt citerade siffror, främst eftersom de bedömde att tidigare korrigeringar för begränsad spridning (range restriction) var för stora. Bland deras skattningar:
- Strukturerade intervjuer: cirka 0,42
- Generell kognitiv förmåga: cirka 0,31
- Samvetsgrannhet: cirka 0,19
Tre saker följer av detta. Det här är genomsnitt över många studier och roller, korrigerade för statistiska artefakter, så ett specifikt test i din situation kan fungera bättre eller sämre. Alla ligger klart över noll: tillämpad konsekvent över många anställningsbeslut förbättrar även måttlig validitet det genomsnittliga utfallet jämfört med ostrukturerade bedömningar. Och metoder som mäter olika saker tillför information. Kognitiv förmåga och samvetsgrannhet hänger bara svagt samman, så en kombination brukar förutsäga bättre än var och en för sig. Samma resonemang talar för att använda tester av kognitiv förmåga tillsammans med en strukturerad intervju snarare än i stället för den.
Att läsa en teknisk manual: frågor att ställa
En siffra i en broschyr betyder lite utan sitt sammanhang, och en bra teknisk manual ger det sammanhanget. Oavsett om du läser en manual eller pratar med en leverantör hjälper de här frågorna.
- Vilket slag av reliabilitet redovisas, och anges standardmätfelet?
- Hur stort var urvalet, och vilka ingick: land, språk, befattningsnivå? Koefficienter från några dussin personer är instabila.
- Vilken språkversion gäller underlaget? En översättning behöver egna data innan du kan anta att den fungerar på samma sätt.
- Vad var kriteriet i valideringsstudierna, hur mättes det, och var designen prediktiv eller samtidig?
- För vilken användning gäller underlaget: urval, utveckling, en viss grupp av roller?
- Hur aktuellt är det, och vad säger manualen inte har studerats?
”Testet är validerat”, utan att det framgår för vad, med vilka och med vilka siffror, besvarar inte frågan. Ofullständiga belägg är acceptabla, särskilt för nya tester, så länge det redovisas öppet. På Match.hr visar varje tests psykometriska etikett reliabiliteten tillsammans med det urval den bygger på, den avsedda användningen och vilka språkversioner som har analyserats.
Hur detta hänger ihop med normer och rättvisa
Ett resultat blir tolkningsbart först bredvid en jämförelsegrupp, så nästa fråga är vilken normgrupp som passar dina kandidater och hur aktuell den är; se normgrupper förklarade. Och ett test kan förutsäga väl i genomsnitt men fungera annorlunda för vissa grupper, till exempel när en uppgift bygger på språk- eller kulturkunskap som inte ingår i det den ska mäta. Vår sida om rättvisa och bias beskriver hur det undersöks.
Konsistenta resultat som läses som intervall, belägg för just din användning, en lämplig normgrupp och analyser av rättvisa där det är tillåtet: tillsammans gör de ett test till en sund grund för ett genomtänkt beslut av en människa, inte en ersättning för det.
Källor
- American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
- Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.