Undersøk om testen din måler rettferdig på tvers av grupper

Grupper kan skåre ulikt av mange grunner. Forskning på rettferdighet spør om en test måler det samme på samme måte for alle, og hva en skåreforskjell betyr for beslutninger.

Løpende rettferdighetskontroller på plattformen bygges opp per test, i den grad lovlige gruppedata er tilgjengelige.

Tre nivåer, tre analyser

Skjevhet kan ligge i ett enkelt item, i en hel skala eller i måten skårene brukes på. Hvert nivå har sin egen analyse.

Differensiell itemfungering (DIF)

På itemnivå: har personer med samme nivå på konstruktet ulik sannsynlighet for å svare på en bestemt måte på et item, avhengig av gruppen de tilhører? DIF peker på items som bør gjennomgås.

Målingsinvarians

På skalanivå: holder faktormodellen på tvers av grupper eller språkversjoner, med de samme ladningene og konstantleddene? Uten invarians gir det ikke mening å sammenligne gruppegjennomsnitt.

Negativ ulikhetseffekt (adverse impact)

På beslutningsnivå: er seleksjonsandelene forskjellige mellom grupper ved en gitt grenseverdi eller i en gitt prosess? Tommelfingerregler som firefemtedelsregelen er et signal om å undersøke nærmere, ikke bevis på urettferdighet.

Gruppedata bare der det er lovlig

Kjennetegn som etnisk opprinnelse eller helse er særlige kategorier av personopplysninger etter personvernforordningen (GDPR). Vi analyserer gruppekjennetegn bare når det finnes et rettslig grunnlag, et klart formål og tilstrekkelige garantier.

  • Et definert formål og et lovlig behandlingsgrunnlag for hvert kjennetegn som analyseres
  • Uttrykkelig samtykke der det kreves, frivillig og atskilt fra selve testen
  • Bare de kjennetegnene problemstillingen faktisk trenger
  • Analyse på et pseudonymisert eller anonymisert datasett
  • Resultater rapportert bare på gruppenivå, med minste gruppestørrelser
  • Gruppedata brukes aldri i en individuell skåre eller beslutning

Slik foregår en rettferdighetsstudie

  1. Formuler problemstillingen

    Hvilke grupper, hvilken bruk og hvilken beslutning? Vi undersøker sammen med deg om dataene som trengs, kan samles inn eller kobles på lovlig vis.

  2. Klargjør dataene

    Samle inn gruppekjennetegn med samtykke der det trengs, eller bruk eksisterende data som språkversjon eller land, og kontroller om gruppene er store nok.

  3. Analyser

    Test for DIF og målingsinvarians, og undersøk negativ ulikhetseffekt der prosess og grenseverdi er kjent.

  4. Tolk og følg opp

    Items som flagges, gjennomgås med fageksperter og blir deretter revidert, fjernet eller beholdt med en dokumentert begrunnelse. Analysen gjentas etter endringer.

Hva disse analysene ikke kan vise

Ingen analyse beviser at en test er fri for skjevhet. DIF- og invariansanalyser ser bare på gruppene som ble målt, og med små grupper har de lav styrke, så at man ikke finner DIF, betyr ikke at det ikke finnes. En reell forskjell mellom grupper i konstruktet er ikke i seg selv skjevhet, og en test uten måleskjevhet kan likevel ha negativ ulikhetseffekt i en bestemt prosess. Beslutningene ligger hos mennesker, som veier testskårer opp mot annen informasjon.

Ofte stilte spørsmål

Kan dere sertifisere at testen vår er fri for skjevhet?

Nei, og vi ville vært skeptiske til alle som gjør det. En rettferdighetsstudie viser om det finnes tegn på måleforskjeller for gruppene og dataene som er undersøkt. Vi rapporterer hva som ble testet, med hvilket utvalg og hva som ble funnet, inkludert begrensningene.

Hvilke grupper kan sammenlignes?

Språkversjoner og land kan ofte sammenlignes med data plattformen allerede har. Alder og kjønn krever et rettslig grunnlag og et klart formål. Særlige kategorier som etnisk opprinnelse krever uttrykkelig samtykke og sterke garantier, og undersøkes vanligvis i et eget forskningsutvalg i stedet for i reelle seleksjonsdata.

Hva skjer hvis et item viser DIF?

Det fjernes ikke automatisk. Fageksperter ser på hvorfor itemet kan fungere ulikt, for eksempel et uttrykk som ikke lar seg oversette, eller et eksempel som er mer kjent for én gruppe. Itemet blir deretter revidert, fjernet eller beholdt med en dokumentert begrunnelse, og analysen gjentas.

Betyr negativ ulikhetseffekt at en test er urettferdig?

Ikke nødvendigvis, men det krever en god forklaring. Kontroller at det testen måler, er relevant for stillingen, at grenseverdien er begrunnet, og om en kombinasjon med andre mål reduserer forskjellen. Etter EUs regler om likebehandling må en praksis som stiller en beskyttet gruppe dårligere, være objektivt begrunnet, så involver din juridiske rådgiver der dette gjelder.

Test din første kandidat i dag

Gratis konto, uten kredittkort, resultater på få minutter.