Normgrupper: sådan fortolker du en testscore
En score på 27 ud af 40 siger ikke meget, før du ved, hvem den sammenlignes med. Denne guide forklarer normgrupper og normskalaer, og hvordan du læser en testscore uden at lægge for meget i den.
Kort fortalt
- En råscore får først mening, når den sammenlignes med en klart beskrevet normgruppe.
- Percentiler, sten, stanine og T-scorer udtrykker den samme placering på forskellige skalaer; percentiler er ikke lige store trin.
- Den rette normgruppe svarer til niveau, land, sprog og testforhold for de personer, du tester.
- Tjek normens størrelse, sammensætning, alder og indsamlingsmetode i den tekniske manual.
- Ved udvælgelse er separate normer for køn eller andre beskyttede grupper som regel ikke løsningen; undersøg i stedet bias.
En råscore kræver en sammenligningsgruppe
En råscore er antallet af rigtigt besvarede items på en evnetest eller summen af svarene på en personlighedsskala. I sig selv siger den ikke meget: 27 ud af 40 kan være et stærkt resultat på en svær test og et helt almindeligt resultat på en let test, og en personlighedsskala har slet ikke nogen rigtig total.
Normer omsætter råscoren til en placering inden for en referencegruppe: personer, der har taget den samme test under sammenlignelige forhold. Placeringen er relativ. Den fortæller, hvordan en person ligger i forhold til den gruppe, ikke om personen er egnet til en rolle. Egnethed afhænger af, hvad rollen kræver, og af evidens for, at testen forudsiger det, der betyder noget (se reliabilitet og validitet).
Normskalaer, og hvordan de hænger sammen
De fleste normskalaer udtrykker det samme: hvor langt en score ligger over eller under normgruppens gennemsnit, målt i standardafvigelser (SD). De adskiller sig i gennemsnit, spredning og detaljeringsgrad.
- z-scorer: gennemsnit 0, SD 1. Grundlaget for de øvrige skalaer, sjældent vist i rapporter.
- T-scorer: gennemsnit 50, SD 10. Omkring to tredjedele af normgruppen ligger mellem 40 og 60.
- Sten: 1 til 10, gennemsnit 5,5, SD 2. Almindelig i personlighedsrapporter.
- Stanine: 1 til 9, gennemsnit 5, SD 2. Almindelig ved evnetest.
- Percentiler: den procentdel af normgruppen, der scorede lavere. Intuitive, men trinene er ikke lige store.
Omgås percentiler med forsigtighed
Percentiler strækker forskellene i midten af fordelingen ud og presser dem sammen i yderpunkterne. At gå fra 50. til 60. percentil kræver en lille forskel i råscore; at gå fra 90. til 99. percentil kræver en stor. Tag derfor ikke gennemsnit af percentiler. Selv på grovere skalaer som sten ligger en forskel på ét point mellem to kandidater ofte inden for målefejlen.
Forklar en score for en ansættende leder
Percentiler er som regel lettest: Ud af 100 personer i denne sammenligningsgruppe scorede omkring 80 lavere. Nævn gruppen i samme sætning, og nævn usikkerhedsmarginen: En score er et estimat, og konfidensintervallet i rapporten viser, hvor den sande score sandsynligvis ligger. Ved personlighedsskalaer kan du tilføje, at højt eller lavt ikke i sig selv er godt eller dårligt.
En fiktiv test i numerisk ræsonnering har 40 items, og en kandidat svarer rigtigt på 27. I forhold til en norm for den generelle erhvervsaktive befolkning svarer det til 80. percentil (T-score 58, sten 7, stanine 7). I forhold til en norm af ansøgere på akademisk niveau svarer den samme råscore til 55. percentil (T-score 51, sten 6, stanine 5). Sammenlignet med den brede befolkning ligger kandidaten klart over gennemsnittet; blandt akademiske ansøgere tæt på gennemsnittet. Hvilken sammenligning der er relevant, afhænger af, hvem kandidaten konkurrerer med. Tallene er illustrative og forudsætter en normalfordeling.
Valg af den rette normgruppe
Vælg den gruppe, du reelt ønsker at sammenligne folk med.
- Generel eller erhvervsaktiv befolkning: nyttig til bred screening og udvikling, men ved udvælgelse til stillinger på højere niveau får den næsten alle til at se ud til at ligge over gennemsnittet.
- Normer efter uddannelses- eller jobniveau: personer på et tilsvarende niveau, for eksempel erhvervsuddannede, akademikere eller ledere. Som regel den bedre reference ved udvælgelse.
- Ansøgernormer: indsamlet i reelle udvælgelsesprocesser. På personlighedsspørgeskemaer beskriver ansøgere sig typisk mere fordelagtigt end personer, der ikke har noget på spil.
- Medarbejder- eller organisationsnormer: nyttige til udvikling. Ved udvælgelse fører de tidligere ansættelsesvalg med ind i nye beslutninger, og de er ofte små.
Land og sprog
Normer hører til en bestemt testversion. En oversættelse kan ændre, hvordan items fungerer, og svarstile er forskellige fra land til land, så en norm fra én sprogversion gælder ikke automatisk for en anden. Når kandidater tager forskellige sprogversioner, så tjek, at manualen angiver en norm pr. version og evidens for, at versionerne måler det samme.
Hvad en forkert normgruppe gør
En for bred gruppe puster scorerne op; en for selektiv gruppe får gode kandidater til at se gennemsnitlige ud. Værre er det at blande normer inden for én proces, for kandidater, der sammenlignes med forskellige grupper, kan ikke længere sammenlignes med hinanden. Brug én normgruppe pr. proces, og notér hvilken.
Hvor god er selve normen?
En norm er en stikprøve med de svagheder, enhver stikprøve har. Tjek følgende, før du sætter din lid til den.
- Størrelse: Der findes ikke ét minimum. Flere hundrede personer pr. normgruppe er et almindeligt udgangspunkt; stabile ekstreme percentiler kræver flere.
- Sammensætning: Ligner gruppen de personer, du tester, med hensyn til niveau, branche, region, alder og køn? En stor, men skæv stikprøve er ikke bedre end en mindre, velsammensat stikprøve.
- Aktualitet: Populationer og testvaner ændrer sig. Vid, hvornår dataene blev indsamlet, og vær forsigtig med normer, der er mange år gamle.
- Indsamling: ansøgere, medarbejdere eller frivillige og studerende? Hvad der står på spil, overvågning og enhed påvirker alle scorerne.
En god teknisk manual redegør for alt dette samt deskriptiv statistik, hvordan råscorerne blev omregnet, og målingens standardfejl. Testvurderingssystemer som COTAN’s og EFPA’s vurderer normer som et selvstændigt kriterium; guiden om kvalitetskriterier for test forklarer hvordan. På Match.hr viser hver tests deklaration normstikprøvernes størrelse og datoen for den seneste beregning, og hver rapport angiver den anvendte normgruppe (mere under normering).
Normer og fairness
Grupper kan have forskellige gennemsnitsscorer. En fristende løsning er en separat norm pr. gruppe, så kvinder kun sammenlignes med kvinder, eller ældre kandidater kun med ældre kandidater. For sprogversioner er separate normer ofte nødvendige. For kendetegn som køn, alder eller etnisk oprindelse er de som regel ikke løsningen ved udvælgelse.
- Den samme råscore ville føre til en anden normscore afhængigt af, hvilken gruppe en person tilhører, og det kan være ulige behandling.
- De skjuler en forskel i stedet for at forklare den. En forskel kan skyldes skæve items, en reel forskel i det, der måles, eller den måde, testen bruges på, og hver af dem kræver en anden reaktion.
- Kendetegn som etnisk oprindelse er særlige kategorier af personoplysninger efter databeskyttelsesforordningen og kan ofte slet ikke indsamles ved udvælgelse.
Den bedre vej er at undersøge bias direkte: differential item functioning (DIF), målingsinvarians på tværs af grupper og sprogversioner og adverse impact ved de cut-off-scorer, du bruger. Tjek derefter, at det, testen måler, er relevant for rollen. Siden om fairness og bias forklarer disse analyser.
Tjekliste, før du læser en rapport
- Hvilken normgruppe er angivet, og passer den til rollens niveau, land og sprog?
- Hvor stor er normgruppen, hvordan blev den indsamlet, og hvornår?
- Tog kandidaten den samme version, på det samme sprog og under samme grad af overvågning som normgruppen?
- Er forskellene mellem kandidaterne større end konfidensintervallet?
- Sammenlignes alle kandidater i denne proces med den samme norm?
- Ved personlighedsskalaer: Læser du højt og lavt som placeringer, ikke som godt og dårligt?
- Hvad ved du ellers? En testscore står ved siden af interviews, arbejdsprøver og referencer, og et menneske træffer beslutningen.
Hvis rapporten eller manualen ikke kan besvare disse spørgsmål, så spørg udgiveren, før du sætter din lid til scorerne.
Kilder
- American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
- International Test Commission (2001). International Guidelines for Test Use. International Journal of Testing, 1(2), 93–114.