Sprawdzenie, czy test mierzy bezstronnie we wszystkich grupach
Grupy mogą różnić się wynikami z wielu powodów. Badanie bezstronności odpowiada na pytanie, czy test mierzy to samo w ten sam sposób u wszystkich i co różnica w wynikach oznacza dla decyzji.
Bieżące kontrole bezstronności na platformie są rozwijane test po teście, w miarę dostępności zgodnie z prawem zebranych danych o grupach.
Trzy poziomy, trzy analizy
Stronniczość może tkwić w pojedynczej pozycji testowej, w całej skali lub w sposobie wykorzystania wyników. Każdy poziom ma własną analizę.
Zróżnicowane funkcjonowanie pozycji (DIF)
Na poziomie pozycji testowej: czy osoby o tym samym poziomie badanej cechy mają różne prawdopodobieństwo udzielenia określonej odpowiedzi w zależności od grupy? DIF wskazuje pozycje, którym warto się przyjrzeć.
Niezmienniczość pomiarowa
Na poziomie skali: czy model czynnikowy utrzymuje się w różnych grupach lub wersjach językowych, z tymi samymi ładunkami i wyrazami wolnymi? Bez niej porównywanie średnich grupowych nie ma sensu.
Niekorzystny wpływ (adverse impact)
Na poziomie decyzji: czy odsetek osób przechodzących selekcję różni się między grupami przy danym progu lub w danej procedurze? Reguły praktyczne, takie jak reguła czterech piątych, są sygnałem do zbadania sprawy, a nie dowodem niesprawiedliwości.
Dane o grupach tylko tam, gdzie pozwala na to prawo
Cechy takie jak pochodzenie etniczne czy zdrowie są w świetle RODO szczególnymi kategoriami danych osobowych. Analizujemy cechy grupowe tylko wtedy, gdy istnieje podstawa prawna, jasny cel i odpowiednie zabezpieczenia.
- Określony cel i podstawa prawna dla każdej analizowanej cechy
- Wyraźna zgoda tam, gdzie jest wymagana, dobrowolna i odrębna od samego badania
- Tylko te cechy, których pytanie badawcze rzeczywiście wymaga
- Analiza na zbiorze danych spseudonimizowanych lub zanonimizowanych
- Wyniki raportowane wyłącznie na poziomie grup, z minimalną liczebnością grup
- Dane o grupach nigdy nie są wykorzystywane w indywidualnym wyniku ani decyzji
Jak przebiega badanie bezstronności
Sformułowanie pytania
Jakie grupy, jakie zastosowanie i jaka decyzja? Wspólnie sprawdzamy, czy potrzebne dane można zgodnie z prawem zebrać lub połączyć.
Przygotowanie danych
Zebranie cech grupowych, w razie potrzeby za zgodą, lub wykorzystanie istniejących danych, takich jak wersja językowa czy kraj, oraz sprawdzenie, czy grupy są wystarczająco liczne.
Analiza
Testowanie DIF i niezmienniczości pomiarowej, a gdy znane są procedura i próg, zbadanie niekorzystnego wpływu.
Interpretacja i działanie
Oznaczone pozycje są przeglądane z ekspertami merytorycznymi, a następnie poprawiane, usuwane lub zachowywane z udokumentowanym uzasadnieniem. Po zmianach analiza jest powtarzana.
Czego te analizy nie pokażą
Żadna analiza nie dowodzi, że test jest wolny od stronniczości. Testy DIF i niezmienniczości obejmują tylko zbadane grupy, a przy małych grupach mają niewielką moc, więc niewykrycie DIF nie oznacza, że go nie ma. Rzeczywista różnica między grupami w badanej cesze nie jest sama w sobie stronniczością, a test bez stronniczości pomiaru może mimo to powodować niekorzystny wpływ w konkretnej procedurze. Decyzje pozostają w rękach ludzi, którzy rozważają wyniki testów obok innych informacji.
Najczęściej zadawane pytania
Czy możecie poświadczyć, że nasz test jest wolny od stronniczości?
Nie, i radzimy ostrożność wobec każdego, kto to robi. Badanie bezstronności pokazuje, czy istnieją dowody różnic pomiarowych dla zbadanych grup i danych. Raportujemy, co zostało przetestowane, na jakiej próbie i co znaleziono, łącznie z ograniczeniami.
Jakie grupy można porównywać?
Wersje językowe i kraje często można porównać na podstawie danych, które platforma już posiada. Wiek i płeć wymagają podstawy prawnej i jasnego celu. Szczególne kategorie, takie jak pochodzenie etniczne, wymagają wyraźnej zgody i silnych zabezpieczeń i zwykle bada się je na odrębnej próbie badawczej, a nie na danych z bieżącej selekcji.
Co się dzieje, gdy pozycja testowa wykazuje DIF?
Nie jest usuwana automatycznie. Eksperci merytoryczni analizują, dlaczego pozycja może działać inaczej, na przykład z powodu nieprzekładalnego idiomu lub przykładu lepiej znanego jednej grupie. Pozycja jest wtedy poprawiana, usuwana lub zachowywana z udokumentowanym uzasadnieniem, a analiza jest powtarzana.
Czy niekorzystny wpływ oznacza, że test jest niesprawiedliwy?
Niekoniecznie, ale wymaga dobrego wyjaśnienia. Należy sprawdzić, czy to, co mierzy test, ma znaczenie dla stanowiska, czy próg jest uzasadniony i czy połączenie z innymi miarami zmniejsza różnicę. Zgodnie z unijnym prawem o równym traktowaniu praktyka, która stawia w gorszej sytuacji grupę chronioną, musi być obiektywnie uzasadniona, dlatego w takich przypadkach warto zaangażować doradcę prawnego.
Powiązane strony
Przebadaj pierwszego kandydata jeszcze dziś
Darmowe konto, bez karty kredytowej, wyniki w kilka minut.