Normgrupper: slik tolker du en testskåre

En skåre på 27 av 40 sier lite før du vet hvem den sammenlignes med. Denne guiden forklarer normgrupper og normskalaer, og hvordan du leser en testskåre uten å legge for mye i den.

Kort fortalt

  • En råskåre får først mening når den sammenlignes med en tydelig beskrevet normgruppe.
  • Persentiler, sten, stanine og T-skårer uttrykker den samme posisjonen på ulike skalaer; persentiler har ikke like store trinn.
  • Riktig normgruppe svarer til nivået, landet, språket og testbetingelsene for dem du tester.
  • Sjekk størrelsen, sammensetningen, datoen og innsamlingsmetoden for en norm i den tekniske håndboken.
  • I seleksjon er egne normer per kjønn eller andre beskyttede grupper sjelden svaret; undersøk heller skjevhet.

En råskåre trenger en sammenligningsgruppe

En råskåre er antall riktig besvarte oppgaver på en evnetest, eller summen av svarene på en personlighetsskala. Alene sier den lite: 27 av 40 kan være et sterkt resultat på en vanskelig test og et helt vanlig resultat på en lett test, og en personlighetsskala har ingen riktig totalsum i det hele tatt.

Normer omregner råskåren til en posisjon i en referansegruppe: personer som har tatt den samme testen under sammenlignbare betingelser. Den posisjonen er relativ. Den forteller hvordan noen står i forhold til den gruppen, ikke om personen passer til en rolle. Egnethet avhenger av hva rollen krever, og av dokumentasjon på at testen predikerer det som betyr noe (se reliabilitet og validitet).

Normskalaer og hvordan de henger sammen

De fleste normskalaer uttrykker det samme: hvor langt en skåre ligger over eller under gjennomsnittet i normgruppen, målt i standardavvik (SD). De skiller seg fra hverandre i gjennomsnitt, spredning og detaljnivå.

  • z-skårer: gjennomsnitt 0, SD 1. Grunnlaget for de andre skalaene, sjelden vist i rapporter.
  • T-skårer: gjennomsnitt 50, SD 10. Omtrent to tredjedeler av normgruppen ligger mellom 40 og 60.
  • Sten: 1 til 10, gjennomsnitt 5,5, SD 2. Vanlig i personlighetsrapporter.
  • Stanine: 1 til 9, gjennomsnitt 5, SD 2. Vanlig for evnetester.
  • Persentiler: prosentandelen av normgruppen som skåret lavere. Intuitive, men trinnene er ikke like store.

Vær forsiktig med persentiler

Persentiler strekker ut forskjeller midt i fordelingen og trykker dem sammen i ytterkantene. Å gå fra 50. til 60. persentil krever en liten forskjell i råskåre; å gå fra 90. til 99. krever en stor. Ta derfor ikke gjennomsnittet av persentiler. Selv på grovere skalaer som sten ligger en forskjell på ett poeng mellom to kandidater ofte innenfor målefeilen.

Slik forklarer du en skåre for en leder som ansetter

Persentiler er som regel enklest: av 100 personer i denne sammenligningsgruppen skåret omtrent 80 lavere. Nevn gruppen i samme setning, og nevn feilmarginen: en skåre er et estimat, og konfidensintervallet i rapporten viser hvor den sanne skåren sannsynligvis ligger. For personlighetsskalaer bør du legge til at høyt eller lavt ikke i seg selv er bra eller dårlig.

Eksempel Én råskåre, to normgrupper

En fiktiv test i numerisk resonnering har 40 oppgaver, og en kandidat svarer riktig på 27. Mot en norm for den generelle yrkesaktive befolkningen tilsvarer det 80. persentil (T-skåre 58, sten 7, stanine 7). Mot en norm for søkere med høyere utdanning tilsvarer den samme råskåren 55. persentil (T-skåre 51, sten 6, stanine 5). Sammenlignet med den brede befolkningen ligger kandidaten klart over gjennomsnittet; blant søkere med høyere utdanning nær gjennomsnittet. Hvilken sammenligning som er relevant, avhenger av hvem kandidaten konkurrerer med. Tallene er illustrative og forutsetter en normalfordeling.

Slik velger du riktig normgruppe

Velg den gruppen du faktisk ønsker å sammenligne folk med.

  • Generell eller yrkesaktiv befolkning: nyttig for bred screening og utvikling, men ved seleksjon til roller på høyere nivå får den nesten alle til å se ut som de ligger over gjennomsnittet.
  • Normer for utdannings- eller stillingsnivå: personer på et lignende nivå, for eksempel fagarbeider-, akademiker- eller lederroller. Som regel den beste referansen for seleksjon.
  • Søkernormer: samlet inn i reelle seleksjonsprosesser. På personlighetsspørreskjemaer har søkere en tendens til å beskrive seg selv mer fordelaktig enn personer som ikke har noe på spill.
  • Normer for ansatte eller organisasjonen: nyttige til utvikling. I seleksjon fører de tidligere ansettelsesvalg videre inn i nye beslutninger, og de er ofte små.

Land og språk

Normer hører til en bestemt testversjon. En oversettelse kan endre hvordan oppgaver fungerer, og svarstiler varierer mellom land, så en norm fra én språkversjon gjelder ikke automatisk for en annen. Når kandidater tar ulike språkversjoner, bør du sjekke at håndboken oppgir en norm per versjon og dokumentasjon på at versjonene måler det samme.

Hva feil normgruppe gjør

En for bred gruppe blåser opp skårene; en for selektiv gruppe får gode kandidater til å se gjennomsnittlige ut. Å blande normer innenfor én prosess er verre, fordi kandidater som sammenlignes med ulike grupper, ikke lenger kan sammenlignes med hverandre. Bruk én normgruppe per prosess, og dokumenter hvilken.

Hvor god er selve normen?

En norm er et utvalg, med de svakhetene ethvert utvalg har. Før du stoler på den, bør du sjekke følgende.

  • Størrelse: det finnes ikke ett enkelt minimum. Flere hundre personer per normgruppe er et vanlig utgangspunkt; stabile ekstreme persentiler krever flere.
  • Sammensetning: ligner gruppen på dem du tester, med tanke på nivå, bransje, region, alder og kjønn? Et stort, men skjevt utvalg er ikke bedre enn et mindre, godt sammensatt utvalg.
  • Aktualitet: populasjoner og testvaner endrer seg. Finn ut når dataene ble samlet inn, og vær forsiktig med normer som er mange år gamle.
  • Innsamling: søkere, ansatte eller frivillige og studenter? Hva som står på spill, tilsyn og hvilken enhet som brukes, påvirker alle skårene.

En god teknisk håndbok rapporterer alt dette, i tillegg til deskriptiv statistikk, hvordan råskårer ble omregnet og standard målefeil. Testvurderingssystemer som dem fra COTAN og EFPA vurderer normer som et eget kriterium; guiden om kvalitetskriterier for tester forklarer hvordan. I Match.hr viser deklarasjonen for hver test størrelsen på normutvalgene og datoen for siste beregning, og hver rapport oppgir hvilken normgruppe som er brukt (mer under normering).

Normer og rettferdighet

Grupper kan ha ulike gjennomsnittsskårer. En fristende løsning er en egen norm per gruppe, slik at kvinner bare sammenlignes med kvinner, eller eldre kandidater bare med eldre kandidater. For språkversjoner er egne normer ofte nødvendig. For kjennetegn som kjønn, alder eller etnisk opprinnelse er de som regel ikke svaret i seleksjon.

  • Den samme råskåren ville gitt en ulik normskåre avhengig av hvilken gruppe noen tilhører, noe som kan innebære forskjellsbehandling.
  • De skjuler en forskjell i stedet for å forklare den. En forskjell kan skyldes skjeve oppgaver, en reell forskjell i det som måles, eller hvordan testen brukes, og hver av disse krever en ulik respons.
  • Kjennetegn som etnisk opprinnelse er særlige kategorier av personopplysninger etter personvernforordningen (GDPR) og kan ofte ikke samles inn i seleksjon i det hele tatt.

Den bedre veien er å undersøke skjevhet direkte: differensiell itemfungering (DIF), målingsinvarians på tvers av grupper og språkversjoner, og ugunstige utslag (adverse impact) ved grenseverdiene du bruker. Sjekk deretter at det testen måler, er relevant for rollen. Siden om rettferdighet og skjevhet forklarer disse analysene.

Sjekkliste før du leser en rapport

  • Hvilken normgruppe er oppgitt, og passer den til nivået, landet og språket for rollen?
  • Hvor stor er normgruppen, hvordan ble den samlet inn, og når?
  • Tok kandidaten den samme versjonen, på det samme språket og med det samme tilsynet som normgruppen?
  • Er forskjellene mellom kandidatene større enn konfidensintervallet?
  • Sammenlignes alle kandidater i denne prosessen med den samme normen?
  • For personlighetsskalaer: leser du høyt og lavt som posisjoner, ikke som bra og dårlig?
  • Hva annet vet du? En testskåre står ved siden av intervjuer, arbeidsprøver og referanser, og et menneske tar beslutningen.

Hvis rapporten eller håndboken ikke kan svare på disse spørsmålene, bør du spørre utgiveren før du stoler på skårene.

Kilder

  • American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
  • International Test Commission (2001). International Guidelines for Test Use. International Journal of Testing, 1(2), 93–114.

Ofte stilte spørsmål

Bør vi sammenligne kandidater med søkere eller med befolkningen generelt?

Ved seleksjon som regel med søkere eller ansatte på et lignende nivå i sammenlignbare roller, fordi det er dem kandidatene dine konkurrerer med. En norm for befolkningen generelt er nyttig til screening eller utvikling, men på høyere nivåer får den de fleste kandidater til å se ut som de ligger over gjennomsnittet, og gir lite rom for å skille dem fra hverandre.

Er en svært høy persentil på en personlighetsskala alltid bra?

Nei. En normskåre for personlighet viser hvor sterkt et trekk er uttrykt sammenlignet med normgruppen, ikke hvor bra det er. En svært høy skåre på en skala kan passe for én rolle og være et tema å drøfte for en annen. Tolk den ut fra kravene i rollen, og snakk gjennom den med kandidaten.

Hva om det ikke finnes noen normgruppe som passer rollen vår?

Bruk den nærmeste egnede nivånormen, si det tydelig i tolkningen din, og vær forsiktig med fine distinksjoner og grenseverdier. Etter hvert som dataene fra dine egne prosesser vokser, kan en mer spesifikk norm bygges, forutsatt at gruppen blir stor nok og analyseres forsvarlig.

Hvorfor endret en kandidats normskåre seg mellom to rapporter?

Enten ble en annen normgruppe brukt, eller så ble normen beregnet på nytt med nye data. Derfor bør en rapport oppgi normgruppen og datoen for den. Innenfor én prosess bør alle kandidater sammenlignes med den samme normen, og rapportene bør oppbevares sammen med normene de bygde på.

Test din første kandidat i dag

Gratis konto, uten kredittkort, resultater på få minutter.