Reliabilitet och validitet: vad HR-yrkesverksamma behöver veta

Två ord som förekommer i varje testmanual och varje leverantörspresentation. Den här guiden förklarar vad de betyder i praktiken, vilka siffror du ska titta efter och vad du ska fråga innan du låter ett test ligga till grund för beslut om människor.

Kortfattat

  • Reliabilitet handlar om konsistens: skulle samma person få ungefär samma resultat igen?
  • Validitet handlar om innebörd: stöder resultatet den slutsats du vill dra, för den här rollen, den här gruppen och det här språket?
  • Varje resultat är ett intervall, inte en punkt. Standardmätfelet visar hur brett det är.
  • Validitetskoefficienter vid urval är måttliga tal som ändå har betydelse, och väl valda metoder kompletterar varandra.
  • Fråga efter underlaget bakom varje siffra: urval, population, språkversion och avsedd användning.

Varför de här två orden spelar roll när du väljer ett test

Ett test ger dig ett tal som ligger till grund för ett beslut om en person. Det talet är bara användbart om två saker stämmer. Det måste vara konsistent: samma person som mäts två gånger under samma förhållanden ska få ungefär samma resultat. Och det måste betyda något för beslutet: ett högre resultat ska gå hand i hand med mer av det som har betydelse i rollen.

Det första är reliabilitet, det andra validitet. Ett test kan vara mycket reliabelt och ändå mäta något som är irrelevant för arbetet. Det omvända fungerar inte: ett test med inkonsekventa resultat kan inte heller förutsäga något på ett konsekvent sätt. Reliabilitet är en förutsättning för validitet, inte en ersättning för den.

Reliabilitet: hur konsistent är resultatet?

Reliabilitet uttrycks som en koefficient mellan 0 och 1. Det finns flera slag, och vart och ett besvarar en annan fråga.

Test–retest-reliabilitet

Samma personer gör testet två gånger. En hög korrelation innebär att resultaten är stabila över tid, vilket har betydelse för egenskaper som förväntas vara stabila, till exempel personlighet. Intervallet spelar roll: är det för kort minns personerna sina svar, är det för långt blandas verklig förändring in.

Intern konsistens

Mäter uppgifterna i en skala samma sak? Det vanliga måttet är Cronbachs alfa; McDonalds omega är ofta mer lämpligt när uppgifterna speglar begreppet med olika styrka. En ofta citerad tumregel är att runt 0,70 kan räcka för forskning på gruppnivå, medan beslut om individer kräver klart högre värden. Modeller för testbedömning sätter egna gränser beroende på vad som står på spel; se hur kvalitetskriterier för tester fungerar.

Interbedömarreliabilitet

När bedömare snarare än en poängnyckel tar fram resultatet, som i intervjuer och övningar i ett assessment center, är frågan om olika bedömare kommer fram till samma bedömning. Det redovisas som en intraklasskorrelation eller Cohens kappa. Strukturerade frågor, beteendeförankrade bedömningsskalor och bedömarutbildning höjer den.

Standardmätfelet

En reliabilitetskoefficient beskriver testet för en grupp. För en individ är standardmätfelet (SEM) mer användbart: skalans standardavvikelse multiplicerad med kvadratroten ur ett minus reliabiliteten. Det visar hur långt ett observerat resultat kan ligga från det resultat personen skulle få utan mätfel.

Exempel Ett resultat är ett intervall (fiktiva siffror)

En personlighetsskala använder T-poäng (medelvärde 50, standardavvikelse 10) och har en reliabilitet på 0,84 i den relevanta normgruppen. SEM är 10 × √(1 − 0,84) = 4 poäng, och ett 95-procentigt intervall sträcker sig ungefär två SEM på var sida om ett resultat. Kandidat A får 56, alltså ungefär 48 till 64; kandidat B får 52, ungefär 44 till 60. Intervallen överlappar nästan helt: skillnaden på 4 poäng säger mycket lite och bör inte avgöra en rangordning.

Validitet: betyder resultatet det du behöver att det betyder?

Validitet är den viktigaste av de två. Aktuella professionella standarder ser den inte som en fast egenskap hos ett test, utan som den grad i vilken belägg stöder en viss tolkning av resultaten för en viss användning. Den användbara frågan är alltså inte om ett test är validt, utan: validt för vad, för vilka och på vilket språk?

Innehållsvaliditet

Täcker uppgifterna det som har betydelse i rollen, och bara det? Ämnesexperter bedömer oftast detta, till exempel genom att jämföra uppgifterna i ett färdighetstest med arbetsanalysen.

Begreppsvaliditet

Mäter testet det som det påstår sig mäta? Belägg är bland annat faktorstrukturen, korrelationer med liknande och olika mått, och om strukturen håller i varje språkversion. Utan det vet du inte riktigt vad namnet på en skala står för.

Kriterievaliditet och prediktiv validitet

Hänger resultaten samman med utfall som har betydelse, som arbetsprestation, utbildningsresultat eller att personer stannar kvar? En prediktiv design testar personer vid anställningen och mäter utfallet senare. En samtidig design testar nuvarande anställda, vilket går snabbare, men den gruppen har redan genomgått urval, vilket tenderar att göra korrelationerna mindre. Kriteriet spelar också roll: en vag eller inkonsekvent prestationsbedömning begränsar hur hög en validitetskoefficient över huvud taget kan bli.

Hur stort är bra? Att läsa validitetskoefficienter

Kriterievaliditet redovisas oftast som en korrelation, och vid personalurval är de korrelationerna måttliga. Det är normalt: prestation beror på mycket som ett test inte kan fånga, från teamet och chefen till livet utanför arbetet. En korrelation runt 0,30 är ett meningsfullt resultat inom det här området, inte ett svagt.

Sackett, Zhang, Berry och Lievens (2022) granskade de metaanalytiska beläggen på nytt och kom fram till mer försiktiga skattningar än äldre, fortfarande flitigt citerade siffror, främst eftersom de bedömde att tidigare korrigeringar för begränsad spridning (range restriction) var för stora. Bland deras skattningar:

  • Strukturerade intervjuer: cirka 0,42
  • Generell kognitiv förmåga: cirka 0,31
  • Samvetsgrannhet: cirka 0,19

Tre saker följer av detta. Det här är genomsnitt över många studier och roller, korrigerade för statistiska artefakter, så ett specifikt test i din situation kan fungera bättre eller sämre. Alla ligger klart över noll: tillämpad konsekvent över många anställningsbeslut förbättrar även måttlig validitet det genomsnittliga utfallet jämfört med ostrukturerade bedömningar. Och metoder som mäter olika saker tillför information. Kognitiv förmåga och samvetsgrannhet hänger bara svagt samman, så en kombination brukar förutsäga bättre än var och en för sig. Samma resonemang talar för att använda tester av kognitiv förmåga tillsammans med en strukturerad intervju snarare än i stället för den.

Att läsa en teknisk manual: frågor att ställa

En siffra i en broschyr betyder lite utan sitt sammanhang, och en bra teknisk manual ger det sammanhanget. Oavsett om du läser en manual eller pratar med en leverantör hjälper de här frågorna.

  • Vilket slag av reliabilitet redovisas, och anges standardmätfelet?
  • Hur stort var urvalet, och vilka ingick: land, språk, befattningsnivå? Koefficienter från några dussin personer är instabila.
  • Vilken språkversion gäller underlaget? En översättning behöver egna data innan du kan anta att den fungerar på samma sätt.
  • Vad var kriteriet i valideringsstudierna, hur mättes det, och var designen prediktiv eller samtidig?
  • För vilken användning gäller underlaget: urval, utveckling, en viss grupp av roller?
  • Hur aktuellt är det, och vad säger manualen inte har studerats?

”Testet är validerat”, utan att det framgår för vad, med vilka och med vilka siffror, besvarar inte frågan. Ofullständiga belägg är acceptabla, särskilt för nya tester, så länge det redovisas öppet. På Match.hr visar varje tests psykometriska etikett reliabiliteten tillsammans med det urval den bygger på, den avsedda användningen och vilka språkversioner som har analyserats.

Hur detta hänger ihop med normer och rättvisa

Ett resultat blir tolkningsbart först bredvid en jämförelsegrupp, så nästa fråga är vilken normgrupp som passar dina kandidater och hur aktuell den är; se normgrupper förklarade. Och ett test kan förutsäga väl i genomsnitt men fungera annorlunda för vissa grupper, till exempel när en uppgift bygger på språk- eller kulturkunskap som inte ingår i det den ska mäta. Vår sida om rättvisa och bias beskriver hur det undersöks.

Konsistenta resultat som läses som intervall, belägg för just din användning, en lämplig normgrupp och analyser av rättvisa där det är tillåtet: tillsammans gör de ett test till en sund grund för ett genomtänkt beslut av en människa, inte en ersättning för det.

Källor

  • American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
  • Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.

Vanliga frågor

Är ett reliabelt test automatiskt validt?

Nej. Reliabilitet säger bara att ett test mäter konsekvent, inte att det mäter något som är relevant för ditt beslut. Den sätter däremot ett tak: ju mindre reliabelt ett test är, desto svagare kan dess samband med ett utfall bli. Du behöver båda, och det är validiteten som besvarar den fråga du faktiskt har.

Vilken reliabilitet bör ett urvalstest ha?

Det finns inget enskilt tal. Beslut om individer kräver högre reliabilitet än forskning på gruppnivå, och ju större vikt ett resultat har, desto högre ribba. I stället för att bara kontrollera om en koefficient klarar en gräns, titta på standardmätfelet: det visar hur brett intervallet runt ett resultat är och om skillnaderna mellan dina kandidater ryms inom det.

Kan vi kontrollera ett tests validitet i vår egen organisation?

Ofta ja, men det kräver planering. En lokal kriteriestudie behöver ett relevant, väl uppmätt utfall och tillräckligt många personer: i små urval varierar korrelationer så mycket att de säger lite, och studier av det här slaget kräver oftast flera hundra deltagare. Om det inte är möjligt i dag, registrera testresultat och senare utfall konsekvent, så att en studie blir möjlig när datamängden växer.

Kan övningstester användas vid urval?

Nej. Övningstester, som de på Assessment-Training.com, är gjorda för att hjälpa kandidater att förbereda sig. De är inte konstruerade eller utforskade som urvalsinstrument, och deras resultat saknar vetenskaplig grund för beslut om sökande.

Testa din första kandidat i dag

Gratis konto, inget kreditkort, resultat på några minuter.