Undersøg, om din test måler fair på tværs af grupper

Grupper kan score forskelligt af mange grunde. Fairnessundersøgelser spørger, om en test måler det samme på samme måde for alle, og hvad en scoreforskel betyder for beslutninger.

Løbende fairnesskontrol på platformen bygges op test for test, i det omfang der er lovlige gruppedata til rådighed.

Tre niveauer, tre analyser

Bias kan ligge i et enkelt item, i en hel skala eller i den måde, scorerne bruges på. Hvert niveau har sin egen analyse.

Differential item functioning

På itemniveau: Har personer med samme niveau på konstruktet forskellig sandsynlighed for at besvare et item på en bestemt måde, afhængigt af deres gruppe? DIF peger på items, der er værd at gennemgå.

Målingsinvarians

På skalaniveau: Holder faktormodellen på tværs af grupper eller sprogversioner, med de samme ladninger og intercepter? Uden målingsinvarians giver det ikke mening at sammenligne gruppegennemsnit.

Adverse impact

På beslutningsniveau: Er udvælgelsesraterne forskellige mellem grupper ved en given cut-off-score eller i en given procedure? Tommelfingerregler som firefemtedelsreglen er et signal til at undersøge sagen, ikke et bevis på, at noget er unfair.

Kun gruppedata, hvor det er lovligt

Oplysninger som etnisk oprindelse eller helbred er særlige kategorier af personoplysninger efter GDPR. Vi analyserer kun gruppekendetegn, når der er et retsgrundlag, et klart formål og passende garantier.

  • Et fastlagt formål og et lovligt grundlag for hvert kendetegn, der analyseres
  • Udtrykkeligt samtykke, hvor det kræves, frivilligt og adskilt fra selve testen
  • Kun de kendetegn, spørgsmålet faktisk kræver
  • Analyse på et pseudonymiseret eller anonymiseret datasæt
  • Resultater rapporteres kun på gruppeniveau og med minimumsstørrelser for grupper
  • Gruppedata bruges aldrig i en individuel score eller beslutning

Sådan forløber et fairnessstudie

  1. Afgræns spørgsmålet

    Hvilke grupper, hvilket formål og hvilken beslutning? Vi undersøger sammen med dig, om de nødvendige data kan indsamles eller kobles lovligt.

  2. Forbered data

    Indsaml gruppekendetegn med samtykke, hvor det er nødvendigt, eller brug eksisterende data som sprogversion eller land, og kontroller, om grupperne er store nok.

  3. Analysér

    Test for DIF og målingsinvarians, og undersøg adverse impact, hvor procedure og cut-off-score er kendt.

  4. Fortolk og handl

    Markerede items gennemgås med fageksperter og bliver derefter revideret, fjernet eller beholdt med en dokumenteret begrundelse. Analysen gentages efter ændringer.

Hvad disse analyser ikke kan vise

Ingen analyse beviser, at en test er fri for bias. DIF- og invarianstest ser kun på de grupper, der er blevet målt, og med små grupper har de lav statistisk styrke, så at der ikke findes DIF, er ikke det samme som, at der ikke er nogen. En reel forskel mellem grupper på konstruktet er ikke i sig selv bias, og en test uden målebias kan stadig give adverse impact i en bestemt procedure. Beslutningerne ligger hos mennesker, der vejer testscorer op mod anden information.

Ofte stillede spørgsmål

Kan I certificere, at vores test er fri for bias?

Nej, og vi ville være på vagt over for alle, der gør det. Et fairnessstudie viser, om der er tegn på måleforskelle for de undersøgte grupper og data. Vi rapporterer, hvad der blev testet, med hvilken stikprøve, og hvad der blev fundet, inklusive begrænsningerne.

Hvilke grupper kan sammenlignes?

Sprogversioner og lande kan ofte sammenlignes ud fra data, som platformen allerede har. Alder og køn kræver et lovligt grundlag og et klart formål. Særlige kategorier som etnisk oprindelse kræver udtrykkeligt samtykke og stærke garantier og undersøges som regel i en separat forskningsstikprøve frem for i aktuelle udvælgelsesdata.

Hvad sker der, hvis et item viser DIF?

Det fjernes ikke automatisk. Fageksperter ser på, hvorfor itemmet kan fungere anderledes, for eksempel et idiom, der ikke kan oversættes, eller et eksempel, der er mere velkendt for én gruppe. Itemmet bliver derefter revideret, fjernet eller beholdt med en dokumenteret begrundelse, og analysen gentages.

Betyder adverse impact, at en test er unfair?

Ikke nødvendigvis, men det kræver en god forklaring. Kontrollér, at det, testen måler, er relevant for stillingen, at cut-off-scoren er begrundet, og om en kombination med andre mål mindsker forskellen. Efter EU’s regler om ligebehandling skal en praksis, der stiller en beskyttet gruppe ringere, være objektivt begrundet, så inddrag din juridiske rådgiver, hvor det er relevant.

Test din første kandidat i dag

Gratis konto, intet kreditkort, resultater på få minutter.