Testqualität beurteilen: COTAN, EFPA und DIN 33430

Warum unabhängige Kriterien bei der Testauswahl helfen

Einen Test nach dem Prospekt auszuwählen, ist riskant. Werbematerial nennt gern den besten Koeffizienten aus der günstigsten Stichprobe und schweigt zu dem, was nie untersucht wurde. Ein fester Kriterienkatalog macht aus einem Eindruck konkrete Fragen: Wofür ist der Test gedacht, wie genau sind die Werte, mit wem werden Kandidaten verglichen, und gibt es Belege, dass die Werte etwas über das aussagen, was im Beruf zählt?

In Europa sind zwei Rahmen verbreitet. COTAN, die Testkommission des niederländischen Psychologenverbands (Nederlands Instituut van Psychologen, NIP), dokumentiert Tests seit 1959 und veröffentlicht seit 1969 Beurteilungen. Das Testbeurteilungsmodell der European Federation of Psychologists' Associations (EFPA) baut unter anderem auf dem COTAN-System sowie auf britischen und spanischen Kriterien auf. In Deutschland kommt DIN 33430 hinzu. Keiner dieser Rahmen verleiht ein allgemeines Gütesiegel: Gefragt wird, ob die Belege einen bestimmten Einsatz stützen, bei bestimmten Personen, in einer bestimmten Sprache.

Die sieben COTAN-Kriterien verständlich erklärt

COTAN beurteilt jeden Test nach sieben Kriterien. Zwei Gutachter prüfen ihn unabhängig voneinander, und jedes Kriterium erhält ein eigenes Urteil; einen Gesamtwert gibt es nicht. In der Fassung des Beurteilungssystems von 2010 lautet das Urteil unzureichend, ausreichend oder gut.

• Grundlagen der Testkonstruktion: Sind Einsatzzweck, Zielgruppen und Konstrukt beschrieben und theoretisch begründet? Was ein Test zu messen beansprucht, bestimmt, welche Belege er braucht.
• Qualität des Testmaterials: Sind Items, Instruktion und Auswertung standardisiert, und ist der Inhalt frei von Items, die bestimmte Gruppen verletzen könnten?
• Qualität des Handbuchs: Liefert es, was Sie für eine korrekte Durchführung und Interpretation brauchen, einschließlich der Grenzen der Interpretation?
• Normen: Sind die Normgruppen groß genug, repräsentativ für die Personen, mit denen Sie Kandidaten vergleichen, und aktuell? Eine Normtabelle ohne Erhebungsjahr oder Beschreibung der Gruppe lässt sich nicht beurteilen.
• Reliabilität: Wie genau sind die Werte, nach welcher Art von Studie und in welcher Stichprobe?
• Konstruktvalidität: Ist belegt, dass der Test misst, was er zu messen vorgibt, etwa durch die Faktorenstruktur und Zusammenhänge mit anderen Verfahren?
• Kriteriumsvalidität: Hängen die Werte mit Ergebnissen wie Leistungsbeurteilungen, Ausbildungserfolg oder Fluktuation zusammen, und wie gut wurde dieses Kriterium gemessen?

Ein unzureichendes Urteil kann bedeuten, dass die Belege schwach waren oder nie vorgelegt wurden. COTAN behandelt beides gleich, weil die Beweislast beim Testautor liegt. Für Sie kann der Unterschied wichtig sein: Ein neuer Test mit wenigen Daten ist etwas anderes als ein Test, der nicht überzeugt hat. In jedem Fall ist es ein Warnsignal: Wer den Test trotzdem einsetzt, sollte das begründen können.

COTAN-Urteile vergibt ausschließlich COTAN selbst. Sie erscheinen in der Online-Datenbank COTAN Documentatie, die Boom uitgevers im Auftrag des NIP herausgibt. Verweist ein Anbieter auf ein COTAN-Urteil, schlagen Sie es dort nach und prüfen Sie, auf welche Version von Test und Handbuch es sich bezieht.

Das EFPA-Modell, DIN 33430 und das TBS-DTK

Das Testbeurteilungsmodell der EFPA ist ein strukturiertes Rezensionsformular mit Hinweisen für Gutachter, gestützt auf Kriterien der British Psychological Society, des spanischen Psychologenverbands und von COTAN. Version 4.2.6 stammt von 2013; im August 2025 erschien Version 5.0 als umfassende Überarbeitung. Das Modell beschreibt zunächst das Verfahren und bewertet dann Begründung und Dokumentation, Testmaterial, Normen, Reliabilität, Validität, die Unterstützung eines fairen Testeinsatzes und die Qualität automatisch erstellter Berichte, abgeschlossen durch eine Gesamtbewertung.

Das Modell soll an nationale Gegebenheiten angepasst und von fachkundigen Gutachtern angewendet werden. Die EFPA stellt klar, dass eine Bewertung nach dem Modell keine Empfehlung oder Zulassung durch die EFPA bedeutet und Werbung dies nicht nahelegen darf. Ein Anbieter, der seinen Test als von der EFPA zugelassen bezeichnet, hat das Modell also missverstanden.

DIN 33430: der Prozess, nicht nur der Test

DIN 33430 (Anforderungen an berufsbezogene Eignungsdiagnostik) liegt in der Fassung von 2016 vor. Sie beurteilt keine einzelnen Tests, sondern den gesamten Ablauf: Auftragsklärung, Anforderungsanalyse und Planung, Auswahl der Verfahren, Anforderungen an die Verfahren einschließlich computer- und internetgestützter Tests, Durchführung, Auswertung und Interpretation, Dokumentation, Evaluation sowie die Qualifikation der Beteiligten. Für die Testauswahl ist besonders der normative Anhang wichtig, der festlegt, welche Angaben die Verfahrenshinweise eines messtheoretisch fundierten Tests enthalten müssen.

Das TBS-DTK

Für Tests im deutschsprachigen Raum gibt es zudem das Testbeurteilungssystem des Diagnostik- und Testkuratoriums der Föderation Deutscher Psychologenvereinigungen (TBS-DTK), zuletzt in der vierten, revidierten Fassung vom Juli 2023. Zwei Rezensionsparteien beurteilen einen Test; zuerst wird geprüft, ob die Verfahrenshinweise die Informationsanforderungen erfüllen, die aus DIN 33430 übernommen und unter anderem um algorithmenspezifische Aspekte ergänzt wurden.

Checkliste für das technische Handbuch

Welchen Rahmen Sie auch nutzen: Die Belege stehen im technischen Handbuch. Fordern Sie es vor dem Kauf an und lesen Sie es mit Ihrer konkreten Entscheidung im Kopf.

• Einsatzzweck: Nennt das Handbuch Ihren Einsatz, und sagt es auch, wofür der Test nicht gedacht ist?
• Normgruppen: Größe, Zusammensetzung, Land, Sprache und Erhebungsjahr. Ähneln sie Ihren Kandidaten? Mehr dazu unter Normen und Normgruppen.
• Reliabilität: Welche Art, aus welcher Stichprobe, und ist der Standardmessfehler angegeben? Die Grundlagen finden Sie unter Reliabilität und Validität.
• Validität: Gibt es Belege für die Faktorenstruktur, für Zusammenhänge mit vergleichbaren Tests und, bei der Auswahl, mit berufsbezogenen Kriterien? Wie groß waren die Stichproben?
• Fairness und Sprache: Funktionieren Items und Skalen in verschiedenen Gruppen gleich, und wurde Ihre Sprachversion adaptiert und untersucht, nicht nur übersetzt?
• Version und unabhängige Beurteilung: Beziehen sich die Belege auf Ihre Version, und gibt es ein COTAN-Urteil oder eine Rezension, die Sie selbst nachlesen können?

So lesen Sie das. Eine Reliabilität von .86 ist solide, liegt für eine wichtige Entscheidung über eine Einzelperson aber zwischen den COTAN-Ankerpunkten .80 und .90. Achten Sie also auf den Standardmessfehler und ziehen Sie keine harten Grenzen bei kleinen Wertunterschieden. Die Normgruppe passt zu Finanzpositionen in den Niederlanden, nicht zu Vertriebspositionen oder einer deutschen Version. Die Kriteriumsstudie weist in die richtige Richtung, doch bei 85 Personen ist das Konfidenzintervall breit. Fazit: in der Auswahl neben anderen Informationen einsetzbar. Die Entscheidung trifft ein Mensch.

Wenn Sie selbst einen Test entwickeln oder veröffentlichen

Dieselben Kriterien taugen als Entwicklungsauftrag: Konstrukt und Einsatzzweck definieren, Items erproben, Daten zu Reliabilität, Struktur und Normen in der Zielgruppe erheben. Wie das abläuft, beschreibt die Seite zur Testentwicklung. Die EFPA ermutigt Entwickler und Verlage ausdrücklich, ihre eigenen Tests mit dem Modell zu bewerten. Das ergibt eine strukturierte Selbstbewertung und ein Handbuch, mit dem Gutachter arbeiten können, aber keine Rezension: Ein COTAN-Urteil vergibt nur COTAN selbst, in einem eigenen Verfahren.

Das Psychometrie-Labor von Match.hr prüft Tests, bevor sie in die Bibliothek aufgenommen werden, und kann Sie bei der Testvalidierung unterstützen. Die Prüfkriterien des Labors folgen dem Aufbau der Testbeurteilungsmodelle von COTAN und EFPA. Das Labor ist mit keiner dieser Organisationen verbunden und nicht von ihnen anerkannt, und eine Prüfstufe wie Validiert ist kein offizielles Urteil. Wenn Sie Ihr Verfahren Arbeitgebern anbieten möchten, beginnt Test veröffentlichen mit dieser Prüfung.