Selvitä, mittaako testisi reilusti eri ryhmissä
Ryhmien pisteet voivat erota monesta syystä. Reiluustutkimus selvittää, mittaako testi samaa asiaa samalla tavalla kaikilla, ja mitä pistero merkitsee päätösten kannalta.
Alustan jatkuvia reiluustarkistuksia rakennetaan testi kerrallaan sitä mukaa kuin lainmukaista ryhmätietoa on saatavilla.
Kolme tasoa, kolme analyysia
Vinouma voi olla yksittäisessä osiossa, koko asteikossa tai tavassa, jolla pisteitä käytetään. Jokaisella tasolla on oma analyysinsa.
Osioiden erotteleva toiminta (DIF)
Osiotasolla: onko ihmisillä, joilla on sama taso mitattavassa ominaisuudessa, eri todennäköisyys vastata osioon tietyllä tavalla ryhmästään riippuen? DIF nostaa esiin osiot, jotka kannattaa tarkistaa.
Mittausinvarianssi
Asteikkotasolla: päteekö faktorimalli eri ryhmissä tai kieliversioissa samoin latauksin ja vakiotermein? Ilman sitä ryhmien keskiarvojen vertailu ei ole mielekästä.
Haitallinen vaikutus (adverse impact)
Päätöstasolla: eroavatko valintaosuudet ryhmien välillä tietyllä karsintarajalla tai tietyssä menettelyssä? Nyrkkisäännöt, kuten neljän viidesosan sääntö, ovat merkki selvittää asiaa, eivät todiste epäreiluudesta.
Ryhmätietoja vain, kun se on lainmukaista
Esimerkiksi etninen alkuperä ja terveys kuuluvat EU:n yleisessä tietosuoja-asetuksessa erityisiin henkilötietoryhmiin. Analysoimme ryhmäominaisuuksia vain, kun siihen on oikeusperuste, selkeä tarkoitus ja riittävät suojatoimet.
- Määritelty tarkoitus ja oikeusperuste jokaiselle analysoitavalle ominaisuudelle
- Nimenomainen suostumus, kun sitä vaaditaan, vapaaehtoisena ja erillään itse arvioinnista
- Vain ne ominaisuudet, joita kysymys todella edellyttää
- Analyysi pseudonymisoidulla tai anonymisoidulla aineistolla
- Tulokset raportoidaan vain ryhmätasolla ja ryhmien vähimmäiskokoja noudattaen
- Ryhmätietoja ei koskaan käytetä yksilön pisteissä tai päätöksissä
Miten reiluustutkimus etenee
Kysymyksen rajaus
Mitkä ryhmät, mikä käyttö ja mikä päätös? Tarkistamme kanssasi, voidaanko tarvittavat tiedot kerätä tai yhdistää lainmukaisesti.
Aineiston valmistelu
Ryhmäominaisuudet kerätään tarvittaessa suostumuksella, tai käytetään olemassa olevia tietoja, kuten kieliversiota tai maata, ja tarkistetaan, ovatko ryhmät riittävän suuria.
Analyysi
Testataan DIF ja mittausinvarianssi, ja kun menettely ja karsintaraja tiedetään, tarkastellaan haitallista vaikutusta.
Tulkinta ja toimenpiteet
Esiin nousseet osiot käydään läpi sisältöasiantuntijoiden kanssa, ja ne muokataan, poistetaan tai säilytetään dokumentoidulla perusteella. Analyysi toistetaan muutosten jälkeen.
Mitä nämä analyysit eivät pysty osoittamaan
Mikään analyysi ei todista testiä vinoumattomaksi. DIF- ja invarianssitestit tarkastelevat vain mitattuja ryhmiä, ja pienillä ryhmillä niiden voima on heikko, joten se, ettei DIF:iä löydy, ei tarkoita, ettei sitä olisi. Todellinen ero ryhmien välillä mitattavassa ominaisuudessa ei sinänsä ole vinoumaa, ja testillä, jossa ei ole mittausvinoumaa, voi silti olla haitallinen vaikutus tietyssä menettelyssä. Päätökset tekevät ihmiset, jotka punnitsevat testituloksia muun tiedon rinnalla.
Usein kysytyt kysymykset
Voitteko sertifioida, että testimme on vinoumaton?
Emme, ja suhtautuisimme varauksella jokaiseen, joka niin tekee. Reiluustutkimus osoittaa, onko tutkituissa ryhmissä ja aineistossa näyttöä mittauseroista. Raportoimme, mitä testattiin, millä otoksella ja mitä havaittiin, rajoitukset mukaan lukien.
Mitä ryhmiä voidaan verrata?
Kieliversioita ja maita voidaan usein verrata alustalla jo olevan aineiston avulla. Ikä ja sukupuoli edellyttävät oikeusperustetta ja selkeää tarkoitusta. Erityiset henkilötietoryhmät, kuten etninen alkuperä, edellyttävät nimenomaista suostumusta ja vahvoja suojatoimia, ja niitä tutkitaan yleensä erillisessä tutkimusotoksessa eikä varsinaisessa valinta-aineistossa.
Mitä tapahtuu, jos osiossa havaitaan DIF?
Osiota ei poisteta automaattisesti. Sisältöasiantuntijat selvittävät, miksi osio voisi toimia eri tavoin, esimerkiksi idiomi, joka ei käänny, tai esimerkki, joka on tutumpi yhdelle ryhmälle. Sen jälkeen osio muokataan, poistetaan tai säilytetään dokumentoidulla perusteella, ja analyysi toistetaan.
Tarkoittaako haitallinen vaikutus, että testi on epäreilu?
Ei välttämättä, mutta sille tarvitaan hyvä selitys. Tarkista, että testin mittaama asia on tehtävän kannalta olennainen, että karsintaraja on perusteltu ja pieneneekö ero, kun testi yhdistetään muihin mittareihin. EU:n yhdenvertaista kohtelua koskevan lainsäädännön mukaan käytäntö, joka asettaa suojatun ryhmän epäedulliseen asemaan, on voitava perustella objektiivisesti, joten ota tällöin mukaan oikeudellinen neuvonantajasi.
Aiheeseen liittyvät sivut
Testaa ensimmäinen hakijasi jo tänään
Maksuton tili, ei luottokorttia, tulokset minuuteissa.