Undersök om ditt test mäter rättvist i olika grupper
Grupper kan få olika resultat av många skäl. Rättviseforskning frågar om ett test mäter samma sak på samma sätt för alla, och vad en skillnad i resultat betyder för besluten.
Löpande rättvisekontroller på plattformen byggs upp test för test, i den mån gruppuppgifter finns att tillgå på laglig väg.
Tre nivåer, tre analyser
Bias kan finnas i en enskild uppgift, i en hel skala eller i hur resultaten används. Varje nivå har sin egen analys.
Differentiell itemfunktion
På itemnivå: har personer med samma nivå på konstruktet olika sannolikhet att besvara en uppgift på ett visst sätt, beroende på grupp? DIF pekar ut uppgifter som är värda att granska.
Mätinvarians
På skalnivå: håller faktormodellen över grupper eller språkversioner, med samma laddningar och intercept? Utan mätinvarians är det inte meningsfullt att jämföra gruppmedelvärden.
Adverse impact
På beslutsnivå: skiljer sig andelen som går vidare mellan grupper vid en viss gränspoäng eller i en viss process? Tumregler som fyrafemtedelsregeln är en signal att undersöka saken, inte ett bevis på orättvisa.
Gruppuppgifter bara där det är lagligt
Uppgifter om till exempel etniskt ursprung eller hälsa är känsliga personuppgifter enligt GDPR. Vi analyserar bara gruppegenskaper när det finns en rättslig grund, ett tydligt syfte och tillräckliga skyddsåtgärder.
- Ett fastställt syfte och en rättslig grund för varje egenskap som analyseras
- Uttryckligt samtycke där det krävs, frivilligt och skilt från själva testet
- Bara de egenskaper som frågeställningen faktiskt kräver
- Analys på ett pseudonymiserat eller anonymiserat dataset
- Resultat redovisas bara på gruppnivå, med minsta gruppstorlek
- Gruppuppgifter används aldrig i ett individuellt resultat eller beslut
Så går en rättvisestudie till
Formulera frågan
Vilka grupper, vilken användning och vilket beslut? Tillsammans med dig kontrollerar vi om de data som behövs kan samlas in eller kopplas ihop på laglig väg.
Förbered data
Samla in gruppegenskaper med samtycke där det behövs, eller använd befintliga uppgifter som språkversion eller land, och kontrollera att grupperna är tillräckligt stora.
Analysera
Testa för DIF och mätinvarians, och undersök adverse impact där process och gränspoäng är kända.
Tolka och åtgärda
Flaggade uppgifter granskas av ämnesexperter och revideras, tas bort eller behålls med en dokumenterad motivering. Analysen görs om efter ändringar.
Vad analyserna inte kan visa
Ingen analys bevisar att ett test är fritt från bias. DIF- och invariansanalyser tittar bara på de grupper som har mätts, och med små grupper har de låg statistisk styrka, så att ingen DIF hittas betyder inte att det inte finns någon. En verklig skillnad mellan grupper i konstruktet är inte i sig bias, och ett test utan mätbias kan ändå ge adverse impact i en viss process. Besluten fattas av människor, som väger testresultat mot annan information.
Vanliga frågor
Kan ni intyga att vårt test är fritt från bias?
Nej, och vi skulle vara skeptiska mot den som gör det. En rättvisestudie visar om det finns tecken på mätskillnader för de grupper och data som undersökts. Vi redovisar vad som testades, med vilket urval och vad vi kom fram till, inklusive begränsningarna.
Vilka grupper kan jämföras?
Språkversioner och länder kan ofta jämföras med data som plattformen redan har. Ålder och kön kräver en rättslig grund och ett tydligt syfte. Känsliga personuppgifter som etniskt ursprung kräver uttryckligt samtycke och starka skyddsåtgärder och studeras oftast i ett separat forskningsurval snarare än i data från pågående rekryteringar.
Vad händer om en uppgift visar DIF?
Det tas inte bort automatiskt. Ämnesexperter tittar på varför uppgiften kan fungera olika, till exempel ett idiomatiskt uttryck som inte går att översätta eller ett exempel som är mer bekant för en grupp. Uppgiften revideras sedan, tas bort eller behålls med en dokumenterad motivering, och analysen görs om.
Betyder adverse impact att ett test är orättvist?
Inte nödvändigtvis, men det kräver en god förklaring. Kontrollera att det testet mäter är relevant för rollen, att gränspoängen är motiverad och om en kombination med andra mått minskar skillnaden. Enligt EU:s regler om likabehandling måste ett förfarande som missgynnar en skyddad grupp vara objektivt motiverat, så involvera din juridiska rådgivare där det är aktuellt.
Relaterade sidor
Testa din första kandidat i dag
Gratis konto, inget kreditkort, resultat på några minuter.