Prüfen Sie, ob Ihr Test über Gruppen hinweg fair misst
Gruppen können aus vielen Gründen unterschiedlich abschneiden. Fairnessforschung fragt, ob ein Test bei allen dasselbe auf dieselbe Weise misst und was ein Unterschied in den Werten für Entscheidungen bedeutet.
Laufende Fairnessprüfungen auf der Plattform bauen wir je Test auf, soweit rechtmäßig erhobene Gruppendaten vorliegen.
Drei Ebenen, drei Analysen
Verzerrungen können in einem einzelnen Item liegen, in einer ganzen Skala oder in der Art, wie Werte verwendet werden. Jede Ebene hat ihre eigene Analyse.
Differential Item Functioning
Auf Itemebene: Haben Personen mit gleicher Ausprägung im Konstrukt je nach Gruppe eine andere Wahrscheinlichkeit, ein Item auf eine bestimmte Weise zu beantworten? DIF zeigt Items, die eine genauere Prüfung verdienen.
Messinvarianz
Auf Skalenebene: Gilt das Faktorenmodell über Gruppen oder Sprachversionen hinweg, mit gleichen Ladungen und Intercepts? Ohne Messinvarianz ist ein Vergleich von Gruppenmittelwerten nicht aussagekräftig.
Adverse Impact
Auf Entscheidungsebene: Unterscheiden sich die Auswahlquoten zwischen Gruppen bei einem bestimmten Cut-off oder in einem bestimmten Verfahren? Faustregeln wie die Vier-Fünftel-Regel sind ein Anlass zur Prüfung, kein Beweis für Unfairness.
Gruppendaten nur, wo es rechtlich zulässig ist
Merkmale wie ethnische Herkunft oder Gesundheit sind nach der DSGVO besondere Kategorien personenbezogener Daten. Wir analysieren Gruppenmerkmale nur mit Rechtsgrundlage, klarem Zweck und angemessenen Garantien.
- Ein festgelegter Zweck und eine Rechtsgrundlage für jedes untersuchte Merkmal
- Ausdrückliche Einwilligung, wo erforderlich, freiwillig und getrennt vom Test selbst
- Nur die Merkmale, die die Fragestellung wirklich braucht
- Analyse auf einem pseudonymisierten oder anonymisierten Datensatz
- Ergebnisse nur auf Gruppenebene, mit Mindestgruppengrößen
- Gruppendaten fließen nie in einen individuellen Wert oder eine Entscheidung ein
So läuft eine Fairnessstudie ab
Fragestellung klären
Welche Gruppen, welcher Einsatz, welche Entscheidung? Gemeinsam prüfen wir, ob die nötigen Daten rechtmäßig erhoben oder verknüpft werden können.
Daten vorbereiten
Gruppenmerkmale bei Bedarf mit Einwilligung erheben oder vorhandene Angaben wie Sprachversion oder Land nutzen und prüfen, ob die Gruppen groß genug sind.
Analysieren
Auf DIF und Messinvarianz testen und, wenn Verfahren und Cut-off bekannt sind, Adverse Impact untersuchen.
Interpretieren und handeln
Auffällige Items werden mit Fachleuten geprüft und dann überarbeitet, entfernt oder mit dokumentierter Begründung beibehalten. Nach Änderungen wiederholen wir die Analyse.
Was diese Analysen nicht zeigen können
Keine Analyse beweist, dass ein Test frei von Verzerrungen ist. DIF- und Invarianztests betrachten nur die gemessenen Gruppen, und bei kleinen Gruppen haben sie wenig Teststärke: Kein DIF gefunden heißt nicht, dass es keinen gibt. Ein tatsächlicher Unterschied zwischen Gruppen im Konstrukt ist für sich genommen kein Bias, und ein Test ohne Messverzerrung kann in einem bestimmten Verfahren dennoch Adverse Impact haben. Entscheidungen treffen Menschen, die Testwerte neben anderen Informationen abwägen.
Häufige Fragen
Können Sie bescheinigen, dass unser Test frei von Bias ist?
Nein, und wir wären vorsichtig bei allen, die das tun. Eine Fairnessstudie zeigt, ob es für die untersuchten Gruppen und Daten Hinweise auf Messunterschiede gibt. Wir berichten, was geprüft wurde, mit welcher Stichprobe und mit welchem Ergebnis, einschließlich der Grenzen.
Welche Gruppen lassen sich vergleichen?
Sprachversionen und Länder lassen sich oft mit Daten vergleichen, die auf der Plattform bereits vorliegen. Alter und Geschlecht erfordern eine Rechtsgrundlage und einen klaren Zweck. Besondere Kategorien wie ethnische Herkunft erfordern eine ausdrückliche Einwilligung und strenge Garantien und werden meist in einer eigenen Forschungsstichprobe untersucht, nicht in laufenden Auswahldaten.
Was passiert, wenn ein Item DIF zeigt?
Es wird nicht automatisch entfernt. Fachleute prüfen, warum das Item anders funktionieren könnte, etwa wegen einer Redewendung, die sich schlecht übersetzen lässt, oder eines Beispiels, das einer Gruppe vertrauter ist. Danach wird es überarbeitet, entfernt oder mit dokumentierter Begründung beibehalten, und die Analyse wird wiederholt.
Bedeutet Adverse Impact, dass ein Test unfair ist?
Nicht unbedingt, aber es braucht eine gute Erklärung. Prüfen Sie, ob das Gemessene für die Funktion relevant ist, ob der Cut-off begründet ist und ob die Kombination mit anderen Verfahren den Unterschied verringert. Nach dem europäischen Gleichbehandlungsrecht muss eine Praxis, die eine geschützte Gruppe benachteiligt, sachlich gerechtfertigt sein; ziehen Sie gegebenenfalls Ihre Rechtsberatung hinzu.
Weiterlesen
Testen Sie heute Ihren ersten Kandidaten
Kostenloses Konto, keine Kreditkarte, Ergebnisse in Minuten.