Sådan vurderer du kvaliteten af en psykologisk test
Alle testleverandører beskriver deres instrumenter som reliable og valide. COTAN’s og EFPA’s vurderingsmodeller giver dig en struktureret måde at tjekke den påstand selv på, kriterium for kriterium, før du bruger en test som grundlag for beslutninger om mennesker.
Kort fortalt
- Vurdér en test til en bestemt anvendelse: Det, der er godt nok til udvikling, kan være for tyndt til udvælgelse.
- COTAN vurderer test på syv separate kriterier, fra principperne for testkonstruktionen til kriterievaliditet.
- EFPA Test Review Model er den europæiske ramme, som nationale psykologforeninger bygger deres testvurderinger på.
- Et manglende tal i en manual er i sig selv et fund: Manglende evidens er ikke det samme som god evidens.
- Officielle vurderinger kommer kun fra det vurderende organ selv. Spørg efter kilden og datoen, og slå det op.
Hvorfor uafhængige kriterier hjælper, når du vælger en test
At vælge en test ud fra en brochure er risikabelt. Markedsføringsmateriale citerer typisk den bedste koefficient fra den mest gunstige stikprøve og tier om det, der aldrig er blevet undersøgt. Et fast sæt kriterier gør et indtryk til konkrete spørgsmål: Hvad er testen beregnet til, hvor præcise er scorerne, hvem sammenlignes kandidaterne med, og er der evidens for, at scorerne hænger sammen med det, der betyder noget i arbejdet?
To modeller er meget udbredte i Europa. COTAN, testkomitéen under den hollandske psykologforening (Nederlands Instituut van Psychologen, NIP), har dokumenteret test siden 1959 og offentliggjort vurderinger siden 1969. Test Review Model fra European Federation of Psychologists’ Associations (EFPA) blev delvis bygget på COTAN-systemet og på britiske og spanske kriterier. Ingen af dem giver en test et universelt kvalitetsstempel: Begge spørger, om evidensen understøtter en bestemt anvendelse, med bestemte personer, på et bestemt sprog.
COTAN’s syv kriterier i et klart sprog
COTAN vurderer hver test på syv kriterier. To bedømmere vurderer testen uafhængigt af hinanden, og hvert kriterium får sin egen vurdering; der gives ingen samlet score. I 2010-udgaven af vurderingssystemet er hver vurdering enten utilstrækkelig, tilstrækkelig eller god.
- Principper for testkonstruktionen: Er det tilsigtede formål, målgrupperne og konstruktet beskrevet og teoretisk funderet? Det, en test hævder at måle, afgør, hvilken evidens den skal have.
- Kvaliteten af testmaterialet: Er items, instruktioner og scoring standardiserede, og er indholdet fri for items, der kan virke krænkende for bestemte grupper?
- Kvaliteten af manualen: Giver den dig det, du har brug for til at administrere testen og fortolke scorerne korrekt, herunder grænserne for den fortolkning?
- Normer: Er normgrupperne store nok, repræsentative for de personer, du sammenligner kandidater med, og aktuelle? En normtabel uden dato eller beskrivelse af gruppen kan ikke vurderes.
- Reliabilitet: Hvor præcise er scorerne, ifølge hvilken type undersøgelse og hvilken stikprøve?
- Begrebsvaliditet: Er der evidens for, at testen måler det, den hævder at måle, for eksempel ud fra dens faktorstruktur og dens sammenhænge med andre mål?
- Kriterievaliditet: Hænger scorerne sammen med udfald som jobpræstation, uddannelsesresultater eller personaleomsætning, og hvor godt blev udfaldet målt?
En utilstrækkelig vurdering kan betyde, at evidensen var svag, eller at den aldrig blev leveret. COTAN behandler begge tilfælde ens, fordi bevisbyrden ligger hos testforfatteren. For dig kan forskellen have betydning: En ny test med få data er ikke det samme som en test, der kom til kort. Under alle omstændigheder er det et advarselstegn, og hvis du alligevel bruger testen, skal du kunne forklare hvorfor.
COTAN-vurderinger gives kun af COTAN selv og offentliggøres i den online COTAN Documentatie, som Boom uitgevers udgiver på vegne af NIP. Hvis en leverandør nævner en COTAN-vurdering, så slå den op dér, og tjek, hvilken version af testen og manualen den dækker.
EFPA Test Review Model og beslægtede rammer
EFPA’s Test Review Model er et struktureret vurderingsskema med noter til bedømmerne, baseret på kriterier fra British Psychological Society, den spanske psykologforening og COTAN. Version 4.2.6 er fra 2013; version 5.0, en større revision, blev offentliggjort i august 2025.
Modellen beskriver først instrumentet og vurderer derefter rationale og dokumentation, testmateriale, normer, reliabilitet, validitet, støtte til fair brug og kvaliteten af digitalt genererede rapporter og slutter med en samlet vurdering. Evidensen for validitet er grupperet efter kilde: testindhold, intern struktur, sammenhænge med andre variabler og andre kilder.
Modellen er beregnet til at blive tilpasset nationale forhold og anvendt af fagkyndige bedømmere; foreninger som British Psychological Society har baseret deres testvurderinger på den. EFPA understreger, at vurderinger foretaget med modellen ikke indebærer, at EFPA anbefaler eller godkender en test, og at reklamer ikke må antyde noget andet. En leverandør, der kalder sin test «godkendt af EFPA», har misforstået modellen.
DIN 33430 i Tyskland
DIN 33430, den tyske standard for jobrelateret egnethedsvurdering, blev senest revideret i 2016. Den vurderer ikke enkelte test, men dækker hele processen: afklaring af opgaven, analyse af rollens krav, valg af metoder, administration og fortolkning, dokumentation og kvalifikationerne hos de involverede. Et bilag beskriver, hvad dokumentationen af en psykometrisk test bør indeholde, hvilket gør den til en nyttig tjekliste også uden for Tyskland.
En tjekliste til at læse en teknisk manual
Uanset hvilken model du bruger, findes evidensen i den tekniske manual. Bed om den, før du køber, og læs den med din egen beslutning for øje.
- Tilsigtet formål: Nævner manualen din anvendelse, og siger den, hvad testen ikke er beregnet til?
- Normgrupper: størrelse, sammensætning, land, sprog og år for dataindsamlingen. Ligner de dine kandidater? Se sådan fungerer normgrupper.
- Reliabilitet: hvilken type, fra hvilken stikprøve, og er målingens standardfejl angivet? Det grundlæggende står i reliabilitet og validitet forklaret.
- Validitet: Er der evidens for faktorstrukturen, for sammenhænge med sammenlignelige test og, ved udvælgelse, for en sammenhæng med jobrelaterede udfald? Hvor store var stikprøverne?
- Fairness og sprog: Fungerer items og skalaer på samme måde på tværs af grupper, og er din sprogversion tilpasset og undersøgt, ikke kun oversat?
- Version og uafhængig vurdering: Dækker evidensen den version, du vil bruge, og findes der en vurdering, du selv kan slå op?
Numerical Reasoning NR-2 (en fiktiv test). Tilsigtet formål: udvælgelse og udvikling til stillinger på akademisk niveau. Normgruppe: 1.240 ansøgere til stillinger inden for økonomi og administration i Nederlandene, indsamlet 2021–2022, nederlandsk version. Reliabilitet: ω = 0,86 (n = 1.240); test-retest efter fire uger r = 0,79 (n = 112). Begrebsvaliditet: etfaktormodel bekræftet; korrelation med en etableret numerisk test r = 0,68 (n = 210). Kriterievaliditet: r = 0,24 med lederens vurdering efter seks måneder (n = 85).
Sådan læser du det. En reliabilitet på 0,86 er solid, men ved en vigtig beslutning om en enkeltperson ligger den mellem COTAN’s ankerpunkter på 0,80 og 0,90, så se på målingens standardfejl, og undgå skarpe cut-off-scorer ved små scoreforskelle. Normgruppen passer til økonomistillinger i Nederlandene, ikke til salgsstillinger eller en tysk version. Kriterieundersøgelsen peger i den rigtige retning, men med 85 personer er konfidensintervallet bredt. Konklusion: brugbar ved udvælgelse sammen med andre oplysninger, og et menneske træffer beslutningen.
Når du selv udvikler eller udgiver en test
De samme kriterier fungerer som designbrief: Definér konstruktet og det tilsigtede formål, afprøv items, og indsaml data om reliabilitet, struktur og normer i målpopulationen, som beskrevet under testudvikling. EFPA opfordrer udtrykkeligt udviklere og udgivere til at evaluere deres egne test med modellen. Det giver dig en struktureret selvevaluering, ikke en vurdering: En COTAN-vurdering gives kun af COTAN, via COTAN’s egen procedure.
Psykometrisk Lab hos Match.hr gennemgår test, før de optages på platformen, og kan samarbejde med dig om testvalidering. Labs kriterier følger strukturen i COTAN’s og EFPA’s vurderingsmodeller. Lab er ikke tilknyttet eller godkendt af nogen af de to organisationer, og et vurderingsniveau som Valideret er ikke en officiel vurdering. Hvis du vil tilbyde dit instrument til arbejdsgivere, begynder udgivelse af din test med den gennemgang.
Kilder
- Evers, A., Lucassen, W., Meijer, R. & Sijtsma, K. (2010). COTAN Beoordelingssysteem voor de Kwaliteit van Tests. Nederlands Instituut van Psychologen.
- European Federation of Psychologists' Associations (2025). Model for the Review, Description and Evaluation of Psychological and Educational Tests (Test Review Model), version 5.0.
- Evers, A., Muñiz, J., Hagemeister, C., Høstmælingen, A., Lindley, P., Sjöberg, A. & Bartram, D. (2013). Assessing the quality of tests: Revision of the EFPA review model. Psicothema, 25(3), 283–291.
- DIN 33430:2016-07. Anforderungen an berufsbezogene Eignungsdiagnostik.
- COTAN Documentatie, online database med COTAN’s testvurderinger (Boom uitgevers på vegne af NIP).