Normgrupper: så tolkar du ett testresultat
Ett resultat på 27 av 40 säger inte mycket förrän du vet vilka det jämförs med. Den här guiden förklarar normgrupper och normskalor, och hur du läser ett testresultat utan att läsa in för mycket i det.
Kortfattat
- En råpoäng får mening först när den jämförs med en tydligt beskriven normgrupp.
- Percentiler, sten, stanine och T-poäng uttrycker samma position på olika skalor; percentiler är inte lika stora steg.
- Rätt normgrupp motsvarar nivån, landet, språket och testförhållandena hos de personer du bedömer.
- Kontrollera normens storlek, sammansättning, datum och insamlingsmetod i den tekniska manualen.
- Vid urval är separata normer per kön eller annan skyddad grupp oftast inte lösningen; undersök i stället bias.
En råpoäng behöver en jämförelsegrupp
En råpoäng är antalet rätt besvarade uppgifter på ett förmågetest, eller summan av svaren på en personlighetsskala. I sig säger den inte mycket: 27 av 40 kan vara ett starkt resultat på ett svårt test och ett ordinärt resultat på ett lätt test, och en personlighetsskala har ingen korrekt summa över huvud taget.
Normer omvandlar råpoängen till en position inom en referensgrupp: personer som har gjort samma test under jämförbara förhållanden. Den positionen är relativ. Den visar hur någon står sig i jämförelse med den gruppen, inte om personen är lämplig för en roll. Lämplighet beror på vad rollen kräver och på belägg för att testet förutsäger det som har betydelse (se reliabilitet och validitet).
Normskalor och hur de hänger ihop
De flesta normskalor uttrycker samma sak: hur långt ett resultat ligger över eller under normgruppens medelvärde, mätt i standardavvikelser (SD). De skiljer sig åt i medelvärde, spridning och detaljnivå.
- z-poäng: medelvärde 0, SD 1. Grunden för de övriga skalorna, visas sällan i rapporter.
- T-poäng: medelvärde 50, SD 10. Ungefär två tredjedelar av normgruppen hamnar mellan 40 och 60.
- Sten: 1 till 10, medelvärde 5,5, SD 2. Vanligt i personlighetsrapporter.
- Stanine: 1 till 9, medelvärde 5, SD 2. Vanligt för förmågetester.
- Percentiler: andelen av normgruppen som fick ett lägre resultat. Intuitivt, men stegen är inte lika stora.
Hantera percentiler med försiktighet
Percentiler förstorar skillnader i mitten av fördelningen och trycker ihop dem i ändarna. Att gå från den 50:e till den 60:e percentilen kräver en liten skillnad i råpoäng; att gå från den 90:e till den 99:e kräver en stor. Beräkna därför inte medelvärden av percentiler. Även på grövre skalor som sten ligger en skillnad på en poäng mellan två kandidater ofta inom mätfelet.
Att förklara ett resultat för en rekryterande chef
Percentiler är oftast enklast: av 100 personer i den här jämförelsegruppen fick ungefär 80 ett lägre resultat. Nämn gruppen i samma mening och nämn felmarginalen: ett resultat är en skattning, och konfidensintervallet i rapporten visar var det sanna värdet troligen ligger. För personlighetsskalor kan du tillägga att högt eller lågt inte är bra eller dåligt i sig.
Ett fiktivt test i numerisk förmåga har 40 uppgifter, och en kandidat besvarar 27 rätt. Mot en norm för den yrkesverksamma befolkningen i stort motsvarar det den 80:e percentilen (T-poäng 58, sten 7, stanine 7). Mot en norm av sökande på akademisk nivå motsvarar samma råpoäng den 55:e percentilen (T-poäng 51, sten 6, stanine 5). Jämfört med den breda befolkningen ligger kandidaten klart över genomsnittet; bland sökande på akademisk nivå nära genomsnittet. Vilken jämförelse som är relevant beror på vilka kandidaten konkurrerar med. Siffrorna är illustrativa och förutsätter en normalfördelning.
Att välja rätt normgrupp
Välj den grupp som du faktiskt vill jämföra människor med.
- Allmän eller yrkesverksam befolkning: användbar för bred screening och utveckling, men vid urval till roller på högre nivå får den nästan alla att se ut att ligga över genomsnittet.
- Normer efter utbildnings- eller befattningsnivå: personer på en liknande nivå, till exempel yrkesutbildade, akademiker eller chefer. Oftast den bättre referensen vid urval.
- Normer för sökande: insamlade i verkliga urvalsprocesser. På personlighetsformulär tenderar sökande att beskriva sig själva mer fördelaktigt än personer som inte har något på spel.
- Normer för anställda eller den egna organisationen: användbara för utveckling. Vid urval för de med sig tidigare anställningsval in i nya beslut, och de är ofta små.
Land och språk
Normer hör till en bestämd testversion. En översättning kan ändra hur uppgifter fungerar, och svarsstilar skiljer sig mellan länder, så en norm från en språkversion gäller inte automatiskt för en annan. När kandidater gör olika språkversioner, kontrollera att manualen anger en norm per version och belägg för att versionerna mäter samma sak.
Vad fel normgrupp ställer till med
En för bred grupp blåser upp resultaten; en för selektiv grupp får bra kandidater att se genomsnittliga ut. Att blanda normer inom samma process är värre, eftersom kandidater som jämförs med olika grupper inte längre kan jämföras med varandra. Använd en normgrupp per process och dokumentera vilken.
Hur bra är själva normen?
En norm är ett urval, med de svagheter som varje urval har. Innan du förlitar dig på den, kontrollera följande.
- Storlek: det finns inget enskilt minimum. Flera hundra personer per normgrupp är en vanlig utgångspunkt; stabila extrema percentiler kräver fler.
- Sammansättning: liknar gruppen de personer du bedömer när det gäller nivå, bransch, region, ålder och kön? Ett stort men snedfördelat urval är inte bättre än ett mindre, väl sammansatt.
- Aktualitet: populationer och testvanor förändras. Ta reda på när data samlades in och var försiktig med normer som är många år gamla.
- Insamling: sökande, anställda eller frivilliga och studenter? Vad som står på spel, övervakning och vilken enhet som används påverkar alla resultaten.
En bra teknisk manual redovisar allt detta, liksom deskriptiv statistik, hur råpoäng omvandlats och standardmätfelet. Testbedömningssystem som COTAN:s och EFPA:s bedömer normer som ett separat kriterium; guiden om kvalitetskriterier för tester förklarar hur. På Match.hr visar varje tests etikett normurvalens storlek och datum för den senaste beräkningen, och varje rapport anger vilken normgrupp som använts (mer under normering).
Normer och rättvisa
Grupper kan skilja sig åt i genomsnittligt resultat. En lockande lösning är en separat norm per grupp, så att kvinnor bara jämförs med kvinnor eller äldre kandidater bara med äldre kandidater. För språkversioner är separata normer ofta nödvändiga. För egenskaper som kön, ålder eller etniskt ursprung är de vid urval oftast inte lösningen.
- Samma råpoäng skulle leda till olika normpoäng beroende på vilken grupp någon tillhör, vilket kan innebära särbehandling.
- De döljer en skillnad i stället för att förklara den. En skillnad kan bero på uppgifter med bias, på en verklig skillnad i det som mäts eller på hur testet används, och var och en kräver olika åtgärder.
- Uppgifter som etniskt ursprung är särskilda kategorier av personuppgifter enligt dataskyddsförordningen (GDPR) och kan ofta inte samlas in alls vid urval.
Den bättre vägen är att undersöka bias direkt: differentiell itemfunktion (DIF), mätinvarians mellan grupper och språkversioner, och adverse impact vid de gränsvärden du använder. Kontrollera sedan att det som testet mäter är relevant för rollen. Sidan om rättvisa och bias förklarar de här analyserna.
Checklista innan du läser en rapport
- Vilken normgrupp anges, och motsvarar den rollens nivå, land och språk?
- Hur stor är normgruppen, hur samlades den in och när?
- Gjorde kandidaten samma version, på samma språk och med samma övervakning som normgruppen?
- Är skillnaderna mellan kandidaterna större än konfidensintervallet?
- Jämförs alla kandidater i den här processen med samma norm?
- För personlighetsskalor: läser du högt och lågt som positioner, inte som bra och dåligt?
- Vad vet du mer? Ett testresultat står bredvid intervjuer, arbetsprov och referenser, och en människa fattar beslutet.
Om rapporten eller manualen inte kan besvara de här frågorna, fråga utgivaren innan du förlitar dig på resultaten.
Källor
- American Educational Research Association, American Psychological Association och National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
- International Test Commission (2001). International Guidelines for Test Use. International Journal of Testing, 1(2), 93–114.