Onderzoek of je test eerlijk meet tussen groepen
Groepen kunnen om veel redenen verschillend scoren. Fairnessonderzoek vraagt of een test bij iedereen hetzelfde op dezelfde manier meet, en wat een scoreverschil betekent voor besluiten.
Doorlopende fairnesscontroles op het platform bouwen we per test op, voor zover er rechtmatig verkregen groepsgegevens zijn.
Drie niveaus, drie analyses
Bias kan in één item zitten, in een hele schaal of in de manier waarop scores worden gebruikt. Elk niveau heeft een eigen analyse.
Differential item functioning
Op itemniveau: hebben mensen met hetzelfde niveau op het construct een andere kans om een item op een bepaalde manier te beantwoorden, afhankelijk van hun groep? DIF wijst items aan die een nadere blik verdienen.
Meetinvariantie
Op schaalniveau: houdt het factormodel stand tussen groepen of taalversies, met dezelfde ladingen en intercepten? Zonder meetinvariantie zegt een vergelijking van groepsgemiddelden weinig.
Adverse impact
Op besluitniveau: verschillen de selectiepercentages tussen groepen bij een bepaalde grensscore of procedure? Vuistregels zoals de vier-vijfderegel zijn een signaal om verder te kijken, geen bewijs van oneerlijkheid.
Groepsgegevens alleen waar het mag
Kenmerken zoals etnische afkomst of gezondheid zijn onder de AVG bijzondere persoonsgegevens. We analyseren groepskenmerken alleen als er een rechtsgrond, een helder doel en passende waarborgen zijn.
- Een vastgelegd doel en een rechtsgrond per onderzocht kenmerk
- Uitdrukkelijke toestemming waar dat nodig is, vrijwillig en los van het assessment zelf
- Alleen de kenmerken die de onderzoeksvraag echt nodig heeft
- Analyse op een gepseudonimiseerde of geanonimiseerde dataset
- Uitkomsten alleen op groepsniveau, met minimale groepsgroottes
- Groepsgegevens tellen nooit mee in een individuele score of beslissing
Zo verloopt een fairnessonderzoek
Bepaal de vraag
Welke groepen, welk gebruik en welk besluit? Samen gaan we na of de benodigde gegevens rechtmatig verzameld of gekoppeld kunnen worden.
Bereid de data voor
Verzamel groepskenmerken met toestemming waar nodig, of gebruik bestaande gegevens zoals taalversie of land, en controleer of de groepen groot genoeg zijn.
Analyseer
Toets op DIF en meetinvariantie, en onderzoek adverse impact als de procedure en de grensscore bekend zijn.
Interpreteer en handel
Gemarkeerde items worden met inhoudsdeskundigen bekeken en daarna herzien, verwijderd of met een vastgelegde reden behouden. Na wijzigingen herhalen we de analyse.
Wat deze analyses niet kunnen aantonen
Geen enkele analyse bewijst dat een test vrij is van bias. DIF- en invariantietoetsen kijken alleen naar de groepen die gemeten zijn, en bij kleine groepen hebben ze weinig onderscheidingsvermogen: geen DIF gevonden is niet hetzelfde als geen DIF. Een echt verschil tussen groepen in het construct is op zichzelf geen bias, en een test zonder meetbias kan in een bepaalde procedure toch adverse impact hebben. Besluiten blijven bij mensen, die testscores naast andere informatie afwegen.
Veelgestelde vragen
Kunnen jullie verklaren dat onze test vrij is van bias?
Nee, en we zouden op onze hoede zijn voor iedereen die dat wel doet. Een fairnessonderzoek laat zien of er aanwijzingen zijn voor meetverschillen bij de onderzochte groepen en data. We rapporteren wat er getoetst is, met welke steekproef en wat er is gevonden, inclusief de grenzen.
Welke groepen kunnen we vergelijken?
Taalversies en landen zijn vaak te vergelijken met gegevens die het platform al heeft. Leeftijd en geslacht vragen een rechtsgrond en een helder doel. Bijzondere persoonsgegevens zoals etnische afkomst vragen uitdrukkelijke toestemming en sterke waarborgen, en worden meestal in een aparte onderzoekssteekproef onderzocht, niet in lopende selectiedata.
Wat gebeurt er als een item DIF laat zien?
Het wordt niet automatisch verwijderd. Inhoudsdeskundigen kijken waarom het item anders zou kunnen werken, bijvoorbeeld een uitdrukking die niet goed vertaalt of een voorbeeld dat voor de ene groep bekender is dan voor de andere. Daarna wordt het item herzien, verwijderd of met een vastgelegde reden behouden, en herhalen we de analyse.
Betekent adverse impact dat een test oneerlijk is?
Niet per se, maar het vraagt een goede verklaring. Ga na of wat de test meet relevant is voor de functie, of de grensscore te verantwoorden is en of een combinatie met andere metingen het verschil verkleint. Onder het Europese gelijkebehandelingsrecht moet een praktijk die een beschermde groep benadeelt objectief gerechtvaardigd zijn; betrek je juridisch adviseur waar dat speelt.
Verder lezen
Test vandaag je eerste kandidaat
Gratis account, geen creditcard, resultaten binnen enkele minuten.