Reliabilität und Validität: was HR-Fachleute wissen sollten

Warum diese beiden Begriffe bei der Testauswahl zählen

Ein Test liefert eine Zahl, auf die Sie eine Entscheidung über einen Menschen stützen. Diese Zahl ist nur brauchbar, wenn zwei Bedingungen erfüllt sind. Sie muss konsistent sein: Misst man dieselbe Person zweimal unter gleichen Bedingungen, sollte ungefähr dasselbe herauskommen. Und sie muss für die Entscheidung etwas bedeuten: Ein höherer Wert sollte mit mehr von dem einhergehen, worauf es in der Stelle ankommt.

Das Erste ist die Reliabilität, das Zweite die Validität. Ein Test kann sehr reliabel sein und trotzdem etwas messen, das für die Stelle keine Rolle spielt. Umgekehrt geht es nicht: Ein Test mit schwankenden Ergebnissen kann auch nichts verlässlich vorhersagen. Reliabilität ist eine Voraussetzung für Validität, kein Ersatz dafür.

Reliabilität: Wie genau misst der Test?

Reliabilität wird als Koeffizient zwischen 0 und 1 angegeben. Es gibt mehrere Arten, die jeweils eine andere Frage beantworten.

Retest-Reliabilität

Dieselben Personen bearbeiten den Test zweimal. Eine hohe Korrelation bedeutet, dass die Werte über die Zeit stabil sind. Das ist wichtig bei Merkmalen, die stabil sein sollten, etwa Persönlichkeit. Der Abstand ist entscheidend: Ist er zu kurz, erinnern sich Personen an ihre Antworten, ist er zu lang, mischen sich echte Veränderungen hinein.

Interne Konsistenz

Messen die Items einer Skala dasselbe? Üblich ist Cronbachs Alpha; McDonalds Omega ist oft besser geeignet, wenn Items das Konstrukt unterschiedlich stark abbilden. Eine oft zitierte Faustregel lautet, dass etwa .70 für Forschung auf Gruppenebene ausreichen kann, während Entscheidungen über Einzelpersonen deutlich höhere Werte erfordern. Testbeurteilungsmodelle legen eigene Grenzwerte fest, je nachdem, was auf dem Spiel steht; mehr dazu unter Testgütekriterien im Überblick.

Interrater-Reliabilität

Vergeben Beurteilende statt eines Auswertungsschlüssels den Wert, etwa in Interviews oder Assessment-Center-Übungen, lautet die Frage, ob verschiedene Beurteilende zum selben Urteil kommen. Berichtet wird das als Intraklassenkorrelation oder als Cohens Kappa. Strukturierte Fragen, verhaltensverankerte Ratingskalen und Beobachterschulungen erhöhen sie.

Der Standardmessfehler

Ein Reliabilitätskoeffizient beschreibt den Test über eine Gruppe hinweg. Für eine einzelne Person ist der Standardmessfehler aussagekräftiger: die Standardabweichung der Skala mal die Wurzel aus eins minus der Reliabilität. Er zeigt, wie weit ein beobachteter Wert von dem Wert entfernt liegen kann, den die Person ohne Messfehler erreichen würde.

Validität: Bedeutet der Wert das, was Sie brauchen?

Validität ist das wichtigere der beiden Gütekriterien. Heutige fachliche Standards sehen sie nicht als feste Eigenschaft eines Tests, sondern als das Ausmaß, in dem Belege eine bestimmte Interpretation von Testwerten für einen bestimmten Einsatz stützen. Die brauchbare Frage lautet also nicht, ob ein Test valide ist, sondern: valide wofür, für wen und in welcher Sprache?

Inhaltsvalidität

Decken die Items ab, worauf es in der Stelle ankommt, und nur das? Das beurteilen meist Fachleute, etwa indem sie die Aufgaben eines Fachtests mit der Anforderungsanalyse vergleichen.

Konstruktvalidität

Misst der Test, was er zu messen beansprucht? Belege dafür sind unter anderem die Faktorstruktur, Zusammenhänge mit ähnlichen und unähnlichen Maßen und die Frage, ob die Struktur in jeder Sprachversion hält. Ohne solche Belege wissen Sie eigentlich nicht, wofür der Name einer Skala steht.

Kriteriums- und prognostische Validität

Hängen die Werte mit relevanten Ergebnissen zusammen, etwa Berufserfolg, Ausbildungserfolg oder Verbleib? In einem prognostischen Design wird bei der Einstellung getestet und das Ergebnis später erhoben. In einem konkurrenten Design testet man aktuelle Beschäftigte. Das geht schneller, doch diese Gruppe ist bereits ausgewählt, was Korrelationen meist kleiner ausfallen lässt. Auch das Kriterium zählt: Eine vage oder uneinheitliche Leistungsbeurteilung begrenzt, wie hoch ein Validitätskoeffizient überhaupt werden kann.

Wie groß ist gut? Validitätskoeffizienten richtig lesen

Kriteriumsvalidität wird meist als Korrelation angegeben, und in der Personalauswahl fallen diese Korrelationen bescheiden aus. Das ist normal: Berufliche Leistung hängt von vielem ab, das ein Test nicht erfasst, vom Team über die Führungskraft bis zum Leben außerhalb der Arbeit. Eine Korrelation um .30 ist in diesem Feld ein bedeutsames Ergebnis, kein schwaches.

Sackett, Zhang, Berry und Lievens (2022) haben die metaanalytische Beleglage neu ausgewertet und kamen zu vorsichtigeren Schätzungen als die älteren, noch oft zitierten Zahlen, vor allem weil sie frühere Korrekturen für Varianzeinschränkung als zu groß einstuften. Einige ihrer Schätzungen:

• Strukturierte Interviews: etwa .42
• Allgemeine kognitive Leistungsfähigkeit: etwa .31
• Gewissenhaftigkeit: etwa .19

Daraus folgt dreierlei. Es sind Durchschnittswerte über viele Studien und Tätigkeiten, korrigiert um statistische Artefakte; ein bestimmter Test kann in Ihrem Umfeld besser oder schlechter abschneiden. Alle liegen deutlich über null: Konsequent über viele Auswahlentscheidungen angewandt, verbessert schon eine bescheidene Validität das durchschnittliche Ergebnis gegenüber einem unstrukturierten Urteil. Und Verfahren, die Unterschiedliches messen, liefern zusätzliche Information. Kognitive Leistungsfähigkeit und Gewissenhaftigkeit hängen nur schwach zusammen, eine Kombination sagt daher meist besser vorher als jedes Verfahren für sich. Aus demselben Grund setzen Sie kognitive Leistungstests neben einem strukturierten Interview ein, nicht an dessen Stelle.

Ein Testmanual lesen: Fragen, die Sie stellen sollten

Ein Kennwert in einer Broschüre sagt ohne Kontext wenig, und ein gutes Testmanual liefert diesen Kontext. Ob Sie ein Manual lesen oder mit einem Anbieter sprechen, diese Fragen helfen.

• Welche Art von Reliabilität wird berichtet, und ist der Standardmessfehler angegeben?
• Wie groß war die Stichprobe und wer gehörte dazu: Land, Sprache, Hierarchieebene? Koeffizienten aus wenigen Dutzend Personen sind instabil.
• Auf welche Sprachversion beziehen sich die Belege? Eine Übersetzung braucht eigene Daten, bevor man annimmt, dass sie gleich funktioniert.
• Was war das Kriterium in Validitätsstudien, wie wurde es erhoben, und war das Design prognostisch oder konkurrent?
• Für welchen Einsatz gelten die Belege: Auswahl, Entwicklung, eine bestimmte Gruppe von Tätigkeiten?
• Wie aktuell sind sie, und was wurde laut Manual noch nicht untersucht?

"Der Test ist validiert", ohne Angabe wofür, bei wem und mit welchen Kennwerten, beantwortet die Frage nicht. Unvollständige Belege sind kein Problem, gerade bei neuen Tests, solange das offen gesagt wird. Auf Match.hr zeigt das psychometrische Label jedes Tests die Reliabilität mit der zugrunde liegenden Stichprobe, den vorgesehenen Einsatz und die analysierten Sprachversionen.

Der Zusammenhang mit Normen und Fairness

Ein Wert wird erst neben einer Vergleichsgruppe interpretierbar. Die nächste Frage lautet daher, welche Normgruppe zu Ihren Bewerbenden passt und wie aktuell sie ist; siehe Normen und Normgruppen erklärt. Zudem kann ein Test im Mittel gut vorhersagen und dennoch für manche Gruppen anders funktionieren, etwa wenn ein Item auf Sprach- oder Kulturwissen beruht, das nicht zum gemessenen Merkmal gehört. Wie das untersucht wird, zeigt unsere Seite zu Fairness und Bias.

Genaue Werte, als Intervall gelesen, Belege für Ihren konkreten Einsatz, eine passende Normgruppe und Fairnessanalysen, wo sie rechtlich zulässig sind: Zusammen machen sie einen Test zu einer soliden Grundlage für eine abgewogene Entscheidung durch einen Menschen, nicht zu deren Ersatz.