Betrouwbaarheid en validiteit: wat je als HR-professional moet weten

Waarom deze twee begrippen ertoe doen bij het kiezen van een test

Een test levert een getal op waarmee je een beslissing over een persoon onderbouwt. Dat getal is alleen bruikbaar als aan twee voorwaarden is voldaan. Het moet consistent zijn: meet je dezelfde persoon twee keer onder dezelfde omstandigheden, dan komt er ongeveer hetzelfde uit. En het moet iets betekenen voor de beslissing: een hogere score hoort samen te gaan met meer van wat in de functie telt.

Het eerste heet betrouwbaarheid, het tweede validiteit. Een test kan heel betrouwbaar zijn en toch iets meten wat voor de functie niet relevant is. Andersom werkt het niet: een test met wisselende uitkomsten kan ook niets consequent voorspellen. Betrouwbaarheid is een voorwaarde voor validiteit, geen vervanging ervan.

Betrouwbaarheid: hoe consistent is de score?

Betrouwbaarheid wordt uitgedrukt in een coëfficiënt tussen 0 en 1. Er zijn verschillende soorten, die elk een andere vraag beantwoorden.

Test-hertestbetrouwbaarheid

Dezelfde mensen maken de test twee keer. Een hoge correlatie betekent dat scores stabiel zijn over de tijd, wat telt bij eigenschappen die stabiel horen te zijn, zoals persoonlijkheid. Let op het interval: te kort en mensen onthouden hun antwoorden, te lang en echte verandering loopt erdoorheen.

Interne consistentie

Meten de items van een schaal hetzelfde? De gangbare maat is Cronbachs alfa; McDonalds omega past vaak beter als items het construct niet allemaal even sterk weerspiegelen. Een veelgehoorde vuistregel is dat rond de .70 kan volstaan voor onderzoek op groepsniveau, terwijl beslissingen over individuen duidelijk hogere waarden vragen. Beoordelingsmodellen voor tests hanteren eigen grenzen, afhankelijk van wat er op het spel staat; lees meer over criteria voor testkwaliteit.

Interbeoordelaarsbetrouwbaarheid

Geven beoordelaars de score in plaats van een scoringssleutel, zoals bij interviews en assessmentcenteroefeningen, dan is de vraag of verschillende beoordelaars tot hetzelfde oordeel komen. Dat wordt gerapporteerd als intraklassecorrelatie of als Cohens kappa. Gestructureerde vragen, gedragsgerichte beoordelingsschalen en training van beoordelaars verhogen deze betrouwbaarheid.

De standaardmeetfout

Een betrouwbaarheidscoëfficiënt beschrijft de test over een groep. Voor één persoon is de standaardmeetfout bruikbaarder: de standaarddeviatie van de schaal maal de wortel uit één min de betrouwbaarheid. Die laat zien hoe ver een gemeten score kan afliggen van de score die iemand zonder meetfout zou halen.

Validiteit: betekent de score wat je nodig hebt?

Validiteit is de belangrijkste van de twee. Huidige professionele standaarden zien validiteit niet als vaste eigenschap van een test, maar als de mate waarin bewijs een bepaalde interpretatie van scores voor een bepaald gebruik ondersteunt. De bruikbare vraag is dus niet of een test valide is, maar: valide waarvoor, voor wie en in welke taal?

Inhoudsvaliditeit

Dekken de items wat in de functie telt, en alleen dat? Meestal beoordelen inhoudsdeskundigen dat, bijvoorbeeld door de opdrachten in een vaardigheidstest naast de functieanalyse te leggen.

Begripsvaliditeit

Meet de test wat hij zegt te meten? Bewijs daarvoor is onder meer de factorstructuur, de samenhang met verwante en niet-verwante metingen, en of de structuur standhoudt in elke taalversie. Zonder dat bewijs weet je eigenlijk niet waar de naam van een schaal voor staat.

Criterium- en predictieve validiteit

Hangen scores samen met uitkomsten die ertoe doen, zoals functioneren, opleidingsresultaten of verloop? In een predictieve opzet test je mensen bij aanname en meet je de uitkomst later. In een concurrente opzet test je zittende medewerkers. Dat gaat sneller, maar die groep is al geselecteerd, waardoor correlaties meestal lager uitvallen. Ook het criterium telt: een vage of inconsistente functioneringsbeoordeling begrenst hoe hoog een validiteitscoëfficiënt kan worden.

Hoe groot is goed? Validiteitscoëfficiënten lezen

Criteriumvaliditeit wordt meestal gerapporteerd als correlatie, en bij personeelsselectie zijn die correlaties bescheiden. Dat is normaal: functioneren hangt af van veel wat een test niet vangt, van het team en de leidinggevende tot het leven buiten het werk. Een correlatie rond de .30 is in dit vakgebied een betekenisvolle uitkomst, geen zwakke.

Sackett, Zhang, Berry en Lievens (2022) bekeken het meta-analytische bewijs opnieuw en kwamen uit op voorzichtiger schattingen dan de oudere cijfers die nog vaak worden aangehaald, vooral omdat eerdere correcties voor restrictie van spreiding volgens hen te groot waren. Enkele van hun schattingen:

• Gestructureerde interviews: ongeveer .42
• Algemene cognitieve capaciteiten: ongeveer .31
• Zorgvuldigheid: ongeveer .19

Daar volgen drie dingen uit. Het zijn gemiddelden over veel onderzoeken en functies, gecorrigeerd voor statistische artefacten; een specifieke test kan het in jouw situatie beter of slechter doen. Ze liggen allemaal duidelijk boven nul: consequent toegepast over veel selectiebeslissingen verbetert zelfs een bescheiden validiteit het gemiddelde resultaat ten opzichte van een ongestructureerd oordeel. En methoden die iets anders meten, voegen informatie toe. Cognitieve capaciteiten en zorgvuldigheid hangen maar zwak samen, dus een combinatie voorspelt doorgaans beter dan elk afzonderlijk. Om dezelfde reden gebruik je capaciteitentests naast een gestructureerd interview, niet in plaats ervan.

Een technische handleiding lezen: vragen om te stellen

Een cijfer in een brochure zegt weinig zonder context, en een goede technische handleiding geeft die context. Of je nu een handleiding leest of met een leverancier praat, deze vragen helpen.

• Welke soort betrouwbaarheid wordt gerapporteerd, en staat de standaardmeetfout erbij?
• Hoe groot was de steekproef en wie zaten erin: land, taal, functieniveau? Coëfficiënten op basis van een paar dozijn mensen zijn instabiel.
• Over welke taalversie gaat het bewijs? Een vertaling heeft eigen data nodig voordat je aanneemt dat hij hetzelfde werkt.
• Wat was het criterium in validiteitsonderzoek, hoe is het gemeten, en was de opzet predictief of concurrent?
• Voor welk gebruik geldt het bewijs: selectie, ontwikkeling, een bepaalde groep functies?
• Hoe recent is het, en wat is volgens de handleiding nog niet onderzocht?

"De test is gevalideerd", zonder te zeggen waarvoor, bij wie en met welke cijfers, beantwoordt de vraag niet. Onvolledig bewijs is geen probleem, zeker niet bij nieuwe tests, zolang het open wordt vermeld. Op Match.hr toont het psychometrisch label van elke test de betrouwbaarheid met de steekproef waarop die berust, het beoogde gebruik en de geanalyseerde taalversies.

De samenhang met normen en fairness

Een score wordt pas interpreteerbaar naast een vergelijkingsgroep, dus de volgende vraag is welke normgroep bij je kandidaten past en hoe actueel die is; zie normgroepen uitgelegd. En een test kan gemiddeld goed voorspellen en toch voor sommige groepen anders werken, bijvoorbeeld als een item leunt op taal- of cultuurkennis die geen deel uitmaakt van wat gemeten moet worden. Hoe je dat onderzoekt, lees je op onze pagina over fairness en bias.

Consistente scores gelezen als marge, bewijs voor jouw specifieke gebruik, een passende normgroep en fairnessanalyses waar dat wettelijk mag: samen maken ze een test tot een stevige basis voor een weloverwogen beslissing door een mens, niet tot een vervanging ervan.