Normgrupper: sådan fortolker du en testscore

En score på 27 ud af 40 siger ikke meget, før du ved, hvem den sammenlignes med. Denne guide forklarer normgrupper og normskalaer, og hvordan du læser en testscore uden at lægge for meget i den.

Kort fortalt

  • En råscore får først mening, når den sammenlignes med en klart beskrevet normgruppe.
  • Percentiler, sten, stanine og T-scorer udtrykker den samme placering på forskellige skalaer; percentiler er ikke lige store trin.
  • Den rette normgruppe svarer til niveau, land, sprog og testforhold for de personer, du tester.
  • Tjek normens størrelse, sammensætning, alder og indsamlingsmetode i den tekniske manual.
  • Ved udvælgelse er separate normer for køn eller andre beskyttede grupper som regel ikke løsningen; undersøg i stedet bias.

En råscore kræver en sammenligningsgruppe

En råscore er antallet af rigtigt besvarede items på en evnetest eller summen af svarene på en personlighedsskala. I sig selv siger den ikke meget: 27 ud af 40 kan være et stærkt resultat på en svær test og et helt almindeligt resultat på en let test, og en personlighedsskala har slet ikke nogen rigtig total.

Normer omsætter råscoren til en placering inden for en referencegruppe: personer, der har taget den samme test under sammenlignelige forhold. Placeringen er relativ. Den fortæller, hvordan en person ligger i forhold til den gruppe, ikke om personen er egnet til en rolle. Egnethed afhænger af, hvad rollen kræver, og af evidens for, at testen forudsiger det, der betyder noget (se reliabilitet og validitet).

Normskalaer, og hvordan de hænger sammen

De fleste normskalaer udtrykker det samme: hvor langt en score ligger over eller under normgruppens gennemsnit, målt i standardafvigelser (SD). De adskiller sig i gennemsnit, spredning og detaljeringsgrad.

  • z-scorer: gennemsnit 0, SD 1. Grundlaget for de øvrige skalaer, sjældent vist i rapporter.
  • T-scorer: gennemsnit 50, SD 10. Omkring to tredjedele af normgruppen ligger mellem 40 og 60.
  • Sten: 1 til 10, gennemsnit 5,5, SD 2. Almindelig i personlighedsrapporter.
  • Stanine: 1 til 9, gennemsnit 5, SD 2. Almindelig ved evnetest.
  • Percentiler: den procentdel af normgruppen, der scorede lavere. Intuitive, men trinene er ikke lige store.

Omgås percentiler med forsigtighed

Percentiler strækker forskellene i midten af fordelingen ud og presser dem sammen i yderpunkterne. At gå fra 50. til 60. percentil kræver en lille forskel i råscore; at gå fra 90. til 99. percentil kræver en stor. Tag derfor ikke gennemsnit af percentiler. Selv på grovere skalaer som sten ligger en forskel på ét point mellem to kandidater ofte inden for målefejlen.

Forklar en score for en ansættende leder

Percentiler er som regel lettest: Ud af 100 personer i denne sammenligningsgruppe scorede omkring 80 lavere. Nævn gruppen i samme sætning, og nævn usikkerhedsmarginen: En score er et estimat, og konfidensintervallet i rapporten viser, hvor den sande score sandsynligvis ligger. Ved personlighedsskalaer kan du tilføje, at højt eller lavt ikke i sig selv er godt eller dårligt.

Eksempel Én råscore, to normgrupper

En fiktiv test i numerisk ræsonnering har 40 items, og en kandidat svarer rigtigt på 27. I forhold til en norm for den generelle erhvervsaktive befolkning svarer det til 80. percentil (T-score 58, sten 7, stanine 7). I forhold til en norm af ansøgere på akademisk niveau svarer den samme råscore til 55. percentil (T-score 51, sten 6, stanine 5). Sammenlignet med den brede befolkning ligger kandidaten klart over gennemsnittet; blandt akademiske ansøgere tæt på gennemsnittet. Hvilken sammenligning der er relevant, afhænger af, hvem kandidaten konkurrerer med. Tallene er illustrative og forudsætter en normalfordeling.

Valg af den rette normgruppe

Vælg den gruppe, du reelt ønsker at sammenligne folk med.

  • Generel eller erhvervsaktiv befolkning: nyttig til bred screening og udvikling, men ved udvælgelse til stillinger på højere niveau får den næsten alle til at se ud til at ligge over gennemsnittet.
  • Normer efter uddannelses- eller jobniveau: personer på et tilsvarende niveau, for eksempel erhvervsuddannede, akademikere eller ledere. Som regel den bedre reference ved udvælgelse.
  • Ansøgernormer: indsamlet i reelle udvælgelsesprocesser. På personlighedsspørgeskemaer beskriver ansøgere sig typisk mere fordelagtigt end personer, der ikke har noget på spil.
  • Medarbejder- eller organisationsnormer: nyttige til udvikling. Ved udvælgelse fører de tidligere ansættelsesvalg med ind i nye beslutninger, og de er ofte små.

Land og sprog

Normer hører til en bestemt testversion. En oversættelse kan ændre, hvordan items fungerer, og svarstile er forskellige fra land til land, så en norm fra én sprogversion gælder ikke automatisk for en anden. Når kandidater tager forskellige sprogversioner, så tjek, at manualen angiver en norm pr. version og evidens for, at versionerne måler det samme.

Hvad en forkert normgruppe gør

En for bred gruppe puster scorerne op; en for selektiv gruppe får gode kandidater til at se gennemsnitlige ud. Værre er det at blande normer inden for én proces, for kandidater, der sammenlignes med forskellige grupper, kan ikke længere sammenlignes med hinanden. Brug én normgruppe pr. proces, og notér hvilken.

Hvor god er selve normen?

En norm er en stikprøve med de svagheder, enhver stikprøve har. Tjek følgende, før du sætter din lid til den.

  • Størrelse: Der findes ikke ét minimum. Flere hundrede personer pr. normgruppe er et almindeligt udgangspunkt; stabile ekstreme percentiler kræver flere.
  • Sammensætning: Ligner gruppen de personer, du tester, med hensyn til niveau, branche, region, alder og køn? En stor, men skæv stikprøve er ikke bedre end en mindre, velsammensat stikprøve.
  • Aktualitet: Populationer og testvaner ændrer sig. Vid, hvornår dataene blev indsamlet, og vær forsigtig med normer, der er mange år gamle.
  • Indsamling: ansøgere, medarbejdere eller frivillige og studerende? Hvad der står på spil, overvågning og enhed påvirker alle scorerne.

En god teknisk manual redegør for alt dette samt deskriptiv statistik, hvordan råscorerne blev omregnet, og målingens standardfejl. Testvurderingssystemer som COTAN’s og EFPA’s vurderer normer som et selvstændigt kriterium; guiden om kvalitetskriterier for test forklarer hvordan. På Match.hr viser hver tests deklaration normstikprøvernes størrelse og datoen for den seneste beregning, og hver rapport angiver den anvendte normgruppe (mere under normering).

Normer og fairness

Grupper kan have forskellige gennemsnitsscorer. En fristende løsning er en separat norm pr. gruppe, så kvinder kun sammenlignes med kvinder, eller ældre kandidater kun med ældre kandidater. For sprogversioner er separate normer ofte nødvendige. For kendetegn som køn, alder eller etnisk oprindelse er de som regel ikke løsningen ved udvælgelse.

  • Den samme råscore ville føre til en anden normscore afhængigt af, hvilken gruppe en person tilhører, og det kan være ulige behandling.
  • De skjuler en forskel i stedet for at forklare den. En forskel kan skyldes skæve items, en reel forskel i det, der måles, eller den måde, testen bruges på, og hver af dem kræver en anden reaktion.
  • Kendetegn som etnisk oprindelse er særlige kategorier af personoplysninger efter databeskyttelsesforordningen og kan ofte slet ikke indsamles ved udvælgelse.

Den bedre vej er at undersøge bias direkte: differential item functioning (DIF), målingsinvarians på tværs af grupper og sprogversioner og adverse impact ved de cut-off-scorer, du bruger. Tjek derefter, at det, testen måler, er relevant for rollen. Siden om fairness og bias forklarer disse analyser.

Tjekliste, før du læser en rapport

  • Hvilken normgruppe er angivet, og passer den til rollens niveau, land og sprog?
  • Hvor stor er normgruppen, hvordan blev den indsamlet, og hvornår?
  • Tog kandidaten den samme version, på det samme sprog og under samme grad af overvågning som normgruppen?
  • Er forskellene mellem kandidaterne større end konfidensintervallet?
  • Sammenlignes alle kandidater i denne proces med den samme norm?
  • Ved personlighedsskalaer: Læser du højt og lavt som placeringer, ikke som godt og dårligt?
  • Hvad ved du ellers? En testscore står ved siden af interviews, arbejdsprøver og referencer, og et menneske træffer beslutningen.

Hvis rapporten eller manualen ikke kan besvare disse spørgsmål, så spørg udgiveren, før du sætter din lid til scorerne.

Kilder

  • American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
  • International Test Commission (2001). International Guidelines for Test Use. International Journal of Testing, 1(2), 93–114.

Ofte stillede spørgsmål

Skal vi sammenligne kandidater med ansøgere eller med den generelle befolkning?

Ved udvælgelse som regel med ansøgere eller medarbejdere på et tilsvarende niveau i sammenlignelige roller, fordi det er dem, dine kandidater konkurrerer med. En norm for den generelle befolkning er nyttig til screening eller udvikling, men på højere niveauer får den de fleste kandidater til at se ud til at ligge over gennemsnittet og giver ikke meget plads til at skelne mellem dem.

Er en meget høj percentil på en personlighedsskala altid godt?

Nej. En normscore for personlighed viser, hvor stærkt et træk er udtrykt sammenlignet med normgruppen, ikke hvor godt det er. En meget høj score på en skala kan passe til én rolle og være et punkt til drøftelse i en anden. Fortolk den ud fra rollens krav, og tal den igennem med kandidaten.

Hvad hvis der ikke findes en normgruppe, der passer til vores rolle?

Brug den nærmeste passende niveaunorm, skriv det i din fortolkning, og vær forsigtig med fine distinktioner og cut-off-scorer. Efterhånden som data fra dine egne processer vokser, kan der opbygges en mere specifik norm, forudsat at gruppen bliver stor nok og analyseres ordentligt.

Hvorfor ændrede en kandidats normscore sig mellem to rapporter?

Enten blev der brugt en anden normgruppe, eller også blev normen genberegnet med nye data. Derfor bør en rapport angive normgruppen og dens dato. Inden for én proces skal alle kandidater sammenlignes med den samme norm, og rapporterne bør gemmes sammen med de normer, de byggede på.

Test din første kandidat i dag

Gratis konto, intet kreditkort, resultater på få minutter.