Normgroepen: zo interpreteer je een testscore
Een score van 27 uit 40 zegt weinig zolang je niet weet met wie hij vergeleken wordt. Dit artikel legt uit wat normgroepen en normschalen zijn, en hoe je een testscore leest zonder er te veel in te zien.
In het kort
- Een ruwe score krijgt pas betekenis naast een duidelijk beschreven normgroep.
- Percentielen, stens, stanines en T-scores geven dezelfde positie weer op verschillende schalen; percentielen hebben geen gelijke stappen.
- De juiste normgroep past bij het niveau, het land, de taal en de afnamecondities van de mensen die je test.
- Controleer omvang, samenstelling, datum en manier van verzamelen van een norm in de technische handleiding.
- Aparte normen per geslacht of andere beschermde groep zijn bij selectie meestal niet de oplossing; onderzoek liever op bias.
Een ruwe score heeft een vergelijkingsgroep nodig
Een ruwe score is het aantal goede antwoorden op een capaciteitentest, of de som van de antwoorden op een persoonlijkheidsschaal. Op zichzelf zegt dat weinig: 27 goed van de 40 kan sterk zijn op een moeilijke test en gewoon op een makkelijke, en een persoonlijkheidsschaal kent helemaal geen goede totaalscore.
Normen zetten de ruwe score om in een positie binnen een referentiegroep: mensen die dezelfde test onder vergelijkbare omstandigheden hebben gemaakt. Die positie is relatief. Ze zegt hoe iemand zich verhoudt tot die groep, niet of iemand geschikt is voor een functie. Geschiktheid hangt af van wat de functie vraagt en van bewijs dat de test voorspelt wat ertoe doet (zie betrouwbaarheid en validiteit).
Normschalen en hoe ze samenhangen
De meeste normschalen drukken hetzelfde uit: hoe ver een score boven of onder het gemiddelde van de normgroep ligt, in standaarddeviaties (SD). Ze verschillen in gemiddelde, spreiding en fijnmazigheid.
- z-scores: gemiddelde 0, SD 1. De basis voor de andere schalen, zelden in rapporten.
- T-scores: gemiddelde 50, SD 10. Ongeveer twee derde van de normgroep valt tussen 40 en 60.
- Stens: 1 tot 10, gemiddelde 5,5, SD 2. Veel gebruikt in persoonlijkheidsrapporten.
- Stanines: 1 tot 9, gemiddelde 5, SD 2. Veel gebruikt bij capaciteitentests.
- Percentielen: het percentage van de normgroep dat lager scoorde. Intuïtief, maar de stappen zijn niet gelijk.
Ga voorzichtig om met percentielen
Percentielen rekken verschillen in het midden van de verdeling op en drukken ze aan de uiteinden samen. Van percentiel 50 naar 60 vraagt een klein verschil in ruwe score; van 90 naar 99 een groot verschil. Middel dus geen percentielen. Ook op grovere schalen zoals stens valt een verschil van één punt tussen twee kandidaten vaak binnen de meetfout.
Een score uitleggen aan een leidinggevende
Percentielen zijn meestal het makkelijkst: van de 100 mensen in deze vergelijkingsgroep scoorden er ongeveer 80 lager. Noem de groep in dezelfde zin en vertel erbij dat een score een schatting is: de betrouwbaarheidsmarge in het rapport laat zien waar de ware score waarschijnlijk ligt. Zeg bij persoonlijkheidsschalen ook dat hoog of laag op zichzelf niet goed of slecht is.
Een fictieve test numeriek redeneren heeft 40 items, en een kandidaat heeft er 27 goed. Tegen een norm van de werkende bevolking is dat percentiel 80 (T-score 58, sten 7, stanine 7). Tegen een norm van sollicitanten op hbo- en wo-niveau is dezelfde ruwe score percentiel 55 (T-score 51, sten 6, stanine 5). Vergeleken met de brede bevolking scoort de kandidaat duidelijk bovengemiddeld, tussen hoogopgeleide sollicitanten rond het gemiddelde. Welke vergelijking relevant is, hangt af van met wie de kandidaat concurreert. De cijfers zijn illustratief en gaan uit van een normale verdeling.
De juiste normgroep kiezen
Kies de groep waarmee je mensen werkelijk wilt vergelijken.
- Algemene of werkende bevolking: bruikbaar voor brede screening en ontwikkeling, maar bij selectie voor functies op hoger niveau lijkt dan bijna iedereen bovengemiddeld.
- Normen per opleidings- of functieniveau: mensen op een vergelijkbaar niveau, zoals mbo, hbo, wo of leidinggevende functies. Voor selectie meestal de betere referentie.
- Sollicitantennormen: verzameld in echte selectieprocedures. Bij persoonlijkheidsvragenlijsten beschrijven sollicitanten zichzelf vaak gunstiger dan mensen voor wie er niets op het spel staat.
- Medewerkers- of organisatienormen: nuttig voor ontwikkeling. Bij selectie nemen ze eerdere selectiekeuzes mee in nieuwe beslissingen, en ze zijn vaak klein.
Land en taal
Normen horen bij een specifieke testversie. Een vertaling kan veranderen hoe items werken en antwoordstijlen verschillen per land, dus een norm van de ene taalversie geldt niet vanzelf voor een andere. Maken kandidaten verschillende taalversies, controleer dan of de handleiding per versie een norm geeft en laat zien dat de versies hetzelfde meten.
Wat een verkeerde normgroep doet
Een te brede groep blaast scores op; een te selectieve groep laat goede kandidaten gemiddeld lijken. Normen mengen binnen één procedure is nog erger, want kandidaten die met verschillende groepen zijn vergeleken, kun je niet meer onderling vergelijken. Gebruik één normgroep per procedure en leg vast welke.
Hoe goed is de norm zelf?
Een norm is een steekproef, met de zwakke plekken van elke steekproef. Controleer het volgende voordat je erop vertrouwt.
- Omvang: er is geen vast minimum. Enkele honderden mensen per normgroep is een gangbaar vertrekpunt; stabiele extreme percentielen vragen meer.
- Samenstelling: lijkt de groep op de mensen die je test, qua niveau, sector, regio, leeftijd en geslacht? Een grote maar scheve steekproef is niet beter dan een kleinere die goed is samengesteld.
- Actualiteit: populaties en testgewoonten veranderen. Weet wanneer de data zijn verzameld en wees voorzichtig met normen die al jaren oud zijn.
- Verzameling: sollicitanten, medewerkers, of vrijwilligers en studenten? Belang, toezicht en apparaat hebben allemaal invloed op scores.
Een goede technische handleiding rapporteert dit allemaal, plus beschrijvende statistieken, de manier waarop ruwe scores zijn omgezet en de standaardmeetfout. Beoordelingssystemen zoals die van COTAN en EFPA beoordelen normen als apart criterium; het artikel over testkwaliteit legt uit hoe. Op Match.hr laat het label van elke test de omvang van de normsteekproeven en de datum van de laatste berekening zien, en elk rapport noemt de gebruikte normgroep (meer bij normering).
Normen en eerlijkheid
Groepen kunnen gemiddeld verschillend scoren. Het ligt dan voor de hand om elke groep een eigen norm te geven, zodat vrouwen alleen met vrouwen worden vergeleken of oudere kandidaten alleen met oudere kandidaten. Voor taalversies zijn aparte normen vaak nodig. Voor kenmerken als geslacht, leeftijd of etnische afkomst zijn ze bij selectie meestal niet de oplossing.
- Dezelfde ruwe score zou dan een andere normscore opleveren, afhankelijk van iemands groep. Dat kan neerkomen op ongelijke behandeling.
- Ze verbergen een verschil in plaats van het te verklaren. Een verschil kan komen door vertekende items, door een echt verschil in wat gemeten wordt of door de manier waarop de test wordt gebruikt, en elk daarvan vraagt een andere aanpak.
- Kenmerken als etnische afkomst zijn bijzondere persoonsgegevens onder de AVG en kun je bij selectie vaak niet eens verzamelen.
Beter is om bias rechtstreeks te onderzoeken: differential item functioning, meetinvariantie tussen groepen en taalversies, en adverse impact bij de grenswaarden die je gebruikt. Ga daarna na of wat de test meet relevant is voor de functie. De pagina over eerlijkheid en bias legt deze analyses uit.
Checklist voordat je een rapport leest
- Welke normgroep wordt genoemd, en past die bij het niveau, het land en de taal van de functie?
- Hoe groot is de normgroep, hoe is hij verzameld en wanneer?
- Maakte de kandidaat dezelfde versie, in dezelfde taal en onder hetzelfde toezicht als de normgroep?
- Zijn de verschillen tussen kandidaten groter dan de betrouwbaarheidsmarge?
- Worden alle kandidaten in deze procedure met dezelfde norm vergeleken?
- Bij persoonlijkheidsschalen: lees je hoog en laag als positie, niet als goed en slecht?
- Wat weet je verder? Een testscore staat naast gesprekken, werkproeven en referenties, en een mens neemt het besluit.
Kan het rapport of de handleiding deze vragen niet beantwoorden, vraag het dan na bij de uitgever voordat je op de scores vertrouwt.
Bronnen
- American Educational Research Association, American Psychological Association en National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
- International Test Commission (2001). International Guidelines for Test Use. International Journal of Testing, 1(2), 93–114.