Normen und Normgruppen: Testwerte richtig deuten

Ein Rohwert braucht eine Vergleichsgruppe

Ein Rohwert ist die Zahl der richtig gelösten Aufgaben in einem Leistungstest oder die Summe der Antworten auf einer Persönlichkeitsskala. Für sich genommen sagt er wenig: 27 von 40 Punkten können in einem schweren Test stark und in einem leichten Test gewöhnlich sein, und eine Persönlichkeitsskala kennt gar keinen richtigen Gesamtwert.

Normen übersetzen den Rohwert in eine Position innerhalb einer Referenzgruppe: Personen, die denselben Test unter vergleichbaren Bedingungen bearbeitet haben. Diese Position ist relativ. Sie zeigt, wo jemand im Vergleich zu dieser Gruppe steht, nicht ob die Person für eine Funktion geeignet ist. Eignung hängt von den Anforderungen der Funktion ab und davon, ob der Test nachweislich vorhersagt, worauf es ankommt (siehe Reliabilität und Validität).

Normskalen und wie sie zusammenhängen

Die meisten Normskalen drücken dasselbe aus: wie weit ein Wert über oder unter dem Mittelwert der Normgruppe liegt, gemessen in Standardabweichungen (SD). Sie unterscheiden sich in Mittelwert, Streuung und Feinheit.

• z-Werte: Mittelwert 0, SD 1. Grundlage der übrigen Skalen, in Berichten selten.
• T-Werte: Mittelwert 50, SD 10. Rund zwei Drittel der Normgruppe liegen zwischen 40 und 60.
• Sten-Werte: 1 bis 10, Mittelwert 5,5, SD 2. Häufig in Persönlichkeitsberichten.
• Stanine: 1 bis 9, Mittelwert 5, SD 2. Häufig bei Leistungstests.
• Prozentränge: der Anteil der Normgruppe, der niedriger lag. Anschaulich, aber die Abstände sind nicht gleich.

Vorsicht bei Prozenträngen

Prozentränge dehnen Unterschiede in der Mitte der Verteilung und stauchen sie an den Rändern. Von Prozentrang 50 auf 60 genügt ein kleiner Rohwertunterschied, von 90 auf 99 braucht es einen großen. Bilden Sie deshalb keine Mittelwerte aus Prozenträngen. Auch auf gröberen Skalen wie Sten-Werten liegt ein Unterschied von einem Punkt zwischen zwei Personen oft innerhalb des Messfehlers.

Einen Wert der Führungskraft erklären

Prozentränge sind meist am einfachsten: Von 100 Personen in dieser Vergleichsgruppe lagen etwa 80 niedriger. Nennen Sie die Gruppe im selben Satz und erwähnen Sie, dass jeder Wert eine Schätzung ist: Das Konfidenzintervall im Bericht zeigt, wo der wahre Wert wahrscheinlich liegt. Bei Persönlichkeitsskalen gehört dazu, dass hoch oder niedrig an sich weder gut noch schlecht ist.

Die passende Normgruppe wählen

Wählen Sie die Gruppe, mit der Sie tatsächlich vergleichen wollen.

• Allgemein- oder Erwerbsbevölkerung: geeignet für breites Screening und Entwicklung. Bei der Auswahl für anspruchsvollere Funktionen wirkt damit fast jede Person überdurchschnittlich.
• Normen nach Bildungs- oder Funktionsniveau: Personen auf vergleichbarem Niveau, etwa mit Berufsausbildung, Hochschulabschluss oder in Führungsfunktionen. Für die Auswahl meist die bessere Referenz.
• Bewerbernormen: in echten Auswahlverfahren erhoben. In Persönlichkeitsfragebögen beschreiben sich Bewerbende oft günstiger als Personen, für die nichts auf dem Spiel steht.
• Mitarbeiter- oder Organisationsnormen: nützlich für die Entwicklung. In der Auswahl tragen sie frühere Auswahlentscheidungen in neue Entscheidungen hinein, und sie sind oft klein.

Land und Sprache

Normen gehören zu einer bestimmten Testversion. Eine Übersetzung kann verändern, wie Items funktionieren, und Antwortstile unterscheiden sich zwischen Ländern. Eine Norm der einen Sprachversion gilt daher nicht automatisch für eine andere. Bearbeiten Personen verschiedene Sprachversionen, prüfen Sie, ob das Manual je Version eine Norm und Belege für die Vergleichbarkeit der Versionen enthält.

Was eine falsche Normgruppe bewirkt

Eine zu breite Gruppe treibt die Werte nach oben; eine zu selektive Gruppe lässt gute Kandidatinnen und Kandidaten durchschnittlich aussehen. Normen innerhalb eines Verfahrens zu mischen ist noch problematischer, denn wer mit verschiedenen Gruppen verglichen wurde, lässt sich untereinander nicht mehr vergleichen. Verwenden Sie eine Normgruppe je Verfahren und dokumentieren Sie, welche.

Wie gut ist die Norm selbst?

Eine Norm ist eine Stichprobe und hat die Schwächen jeder Stichprobe. Prüfen Sie Folgendes, bevor Sie sich auf sie verlassen.

• Größe: Es gibt kein festes Minimum. Mehrere hundert Personen je Normgruppe sind ein üblicher Ausgangspunkt; stabile extreme Prozentränge brauchen mehr.
• Zusammensetzung: Ähnelt die Gruppe den getesteten Personen in Niveau, Branche, Region, Alter und Geschlecht? Eine große, aber verzerrte Stichprobe ist nicht besser als eine kleinere, gut zusammengesetzte.
• Aktualität: Bevölkerung und Testgewohnheiten verändern sich. Klären Sie, wann die Daten erhoben wurden, und seien Sie bei Normen, die viele Jahre alt sind, zurückhaltend.
• Erhebung: Bewerbende, Beschäftigte oder Freiwillige und Studierende? Konsequenzen, Aufsicht und Endgerät beeinflussen die Werte.

Ein gutes Testmanual berichtet all das, dazu deskriptive Statistiken, das Umrechnungsverfahren und den Standardmessfehler. Testbeurteilungssysteme wie die von COTAN und EFPA bewerten Normen als eigenes Kriterium; der Beitrag zu den Testgütekriterien erklärt, wie. Auf Match.hr zeigt das Label jedes Tests die Größe der Normstichproben und das Datum der letzten Berechnung, und jeder Bericht nennt die verwendete Normgruppe (mehr unter Normierung).

Normen und Fairness

Gruppen können sich im Mittel unterscheiden. Naheliegend scheint dann eine eigene Norm je Gruppe, sodass Frauen nur mit Frauen oder ältere Bewerbende nur mit älteren verglichen werden. Für Sprachversionen sind getrennte Normen oft nötig. Für Merkmale wie Geschlecht, Alter oder ethnische Herkunft sind sie in der Personalauswahl meist nicht die Lösung.

• Derselbe Rohwert ergäbe je nach Gruppe einen anderen Normwert. Das kann auf eine Ungleichbehandlung hinauslaufen.
• Sie verdecken einen Unterschied, statt ihn zu erklären. Er kann aus verzerrten Items, aus einem echten Unterschied im gemessenen Merkmal oder aus der Art der Testnutzung stammen, und jede Ursache verlangt eine andere Reaktion.
• Merkmale wie die ethnische Herkunft gehören nach der DSGVO zu den besonderen Kategorien personenbezogener Daten und lassen sich in der Auswahl oft gar nicht erheben.

Besser ist es, Verzerrungen direkt zu untersuchen: Differential Item Functioning, Messinvarianz zwischen Gruppen und Sprachversionen sowie Adverse Impact bei den Cut-offs, die Sie verwenden. Prüfen Sie anschließend, ob das Gemessene für die Funktion relevant ist. Die Seite zu Fairness und Verzerrungen erläutert diese Analysen.

Checkliste vor dem Lesen eines Berichts

• Welche Normgruppe ist genannt, und passt sie zu Niveau, Land und Sprache der Funktion?
• Wie groß ist die Normgruppe, wie und wann wurde sie erhoben?
• Hat die Person dieselbe Version, in derselben Sprache und unter derselben Aufsicht bearbeitet wie die Normgruppe?
• Sind die Unterschiede zwischen den Personen größer als das Konfidenzintervall?
• Werden alle Personen in diesem Verfahren mit derselben Norm verglichen?
• Bei Persönlichkeitsskalen: Lesen Sie hoch und niedrig als Position, nicht als gut und schlecht?
• Was wissen Sie sonst noch? Ein Testwert steht neben Interviews, Arbeitsproben und Referenzen, und die Entscheidung trifft ein Mensch.

Beantworten Bericht oder Manual diese Fragen nicht, fragen Sie beim Testanbieter nach, bevor Sie sich auf die Werte stützen.