Slik vurderer du kvaliteten på en psykologisk test
Alle testleverandører beskriver verktøyene sine som reliable og valide. Vurderingsrammeverkene til COTAN og EFPA gir deg en strukturert måte å sjekke den påstanden selv, kriterium for kriterium, før du bruker en test som grunnlag for beslutninger om mennesker.
Kort fortalt
- Vurder en test for en bestemt bruk: det som er godt nok til utvikling, kan være for tynt til seleksjon.
- COTAN vurderer tester på sju separate kriterier, fra prinsippene for testkonstruksjon til kriterievaliditet.
- EFPAs Test Review Model er det europeiske rammeverket som nasjonale psykologforeninger baserer testvurderingene sine på.
- Et manglende tall i en håndbok er et funn i seg selv: ingen dokumentasjon er ikke det samme som god dokumentasjon.
- Offisielle vurderinger kommer bare fra vurderingsorganet selv. Be om kilde og dato, og slå det opp.
Hvorfor uavhengige kriterier hjelper når du velger en test
Å velge en test ut fra en brosjyre er risikabelt. Markedsmateriell har en tendens til å sitere den beste koeffisienten fra det gunstigste utvalget og tie om det som aldri er undersøkt. Et fast sett med kriterier gjør et inntrykk om til konkrete spørsmål: hva er testen til for, hvor presise er skårene, hvem sammenlignes kandidatene med, og finnes det dokumentasjon på at skårene henger sammen med det som betyr noe i jobben?
To rammeverk er mye brukt i Europa. COTAN, testkomiteen i den nederlandske psykologforeningen (Nederlands Instituut van Psychologen, NIP), har dokumentert tester siden 1959 og publisert vurderinger siden 1969. Test Review Model fra European Federation of Psychologists’ Associations (EFPA) ble bygget delvis på COTAN-systemet og på britiske og spanske kriterier. Ingen av dem gir en test et universelt godkjenningsstempel: begge spør om dokumentasjonen støtter en bestemt bruk, med bestemte personer, på et bestemt språk.
COTANs sju kriterier i klartekst
COTAN vurderer hver test på sju kriterier. To vurderere vurderer testen uavhengig av hverandre, og hvert kriterium får sin egen vurdering; det finnes ingen samlet skåre. I 2010-utgaven av vurderingssystemet er hver vurdering enten utilstrekkelig, tilstrekkelig eller god.
- Prinsipper for testkonstruksjon: er tiltenkt bruk, målgrupper og begrep beskrevet og teoretisk forankret? Det en test hevder å måle, avgjør hvilken dokumentasjon den trenger.
- Kvaliteten på testmateriellet: er oppgaver, instruksjoner og skåring standardisert, og er innholdet fritt for oppgaver som kan virke støtende for bestemte grupper?
- Kvaliteten på håndboken: gir den deg det du trenger for å administrere testen og tolke skårene riktig, inkludert grensene for den tolkningen?
- Normer: er normgruppene store nok, representative for dem du sammenligner kandidater med, og oppdaterte? En normtabell uten dato eller beskrivelse av gruppen kan ikke vurderes.
- Reliabilitet: hvor presise er skårene, ifølge hvilken type studie og hvilket utvalg?
- Begrepsvaliditet: finnes det dokumentasjon på at testen måler det den hevder å måle, for eksempel ut fra faktorstrukturen og sammenhengene med andre mål?
- Kriterievaliditet: henger skårene sammen med utfall som jobbprestasjon, opplæringsresultater eller turnover, og hvor godt ble det utfallet målt?
En utilstrekkelig vurdering kan bety at dokumentasjonen var svak, eller at den aldri ble lagt frem. COTAN behandler begge likt, fordi bevisbyrden ligger hos testforfatteren. For deg kan forskjellen ha betydning: en ny test med lite data er ikke det samme som en test som ikke holdt mål. Uansett er det et varselsignal, og hvis du likevel bruker testen, bør du kunne forklare hvorfor.
COTAN-vurderinger gis bare av COTAN selv og publiseres i den nettbaserte COTAN Documentatie, som Boom uitgevers utgir på vegne av NIP. Hvis en leverandør nevner en COTAN-vurdering, bør du slå den opp der og sjekke hvilken versjon av testen og håndboken den gjelder.
EFPAs Test Review Model og beslektede rammeverk
EFPAs Test Review Model er et strukturert vurderingsskjema med veiledning for vurderere, basert på kriterier fra British Psychological Society, den spanske psykologforeningen og COTAN. Versjon 4.2.6 er fra 2013; versjon 5.0, en omfattende revisjon, ble publisert i august 2025.
Modellen beskriver først verktøyet og vurderer deretter begrunnelse og dokumentasjon, testmateriell, normer, reliabilitet, validitet, støtte for rettferdig bruk og kvaliteten på digitalt genererte rapporter, og avslutter med en samlet vurdering. Validitetsdokumentasjonen er gruppert etter kilde: testinnhold, indre struktur, sammenhenger med andre variabler og andre kilder.
Modellen er ment å tilpasses nasjonale ordninger og brukes av fagkyndige vurderere; foreninger som British Psychological Society har basert testvurderingene sine på den. EFPA presiserer at vurderinger gitt med modellen ikke innebærer at EFPA går god for en test, og at markedsføring ikke må antyde noe annet. En leverandør som kaller testen sin «godkjent av EFPA», har misforstått modellen.
DIN 33430 i Tyskland
DIN 33430, den tyske standarden for jobbrelatert egnethetsvurdering, ble sist revidert i 2016. Den vurderer ikke enkelttester, men dekker hele prosessen: avklaring av oppdraget, analyse av kravene i rollen, valg av metoder, gjennomføring og tolkning, dokumentasjon og kvalifikasjonene til dem som er involvert. Et vedlegg beskriver hva dokumentasjonen av en psykometrisk test bør inneholde, noe som gjør den til en nyttig sjekkliste også utenfor Tyskland.
En sjekkliste for å lese en teknisk håndbok
Uansett hvilket rammeverk du bruker, ligger dokumentasjonen i den tekniske håndboken. Be om den før du kjøper, og les den med din egen beslutning i tankene.
- Tiltenkt bruk: nevner håndboken din bruk, og sier den hva testen ikke er ment for?
- Normgrupper: størrelse, sammensetning, land, språk og år for datainnsamling. Ligner de på kandidatene dine? Se hvordan normgrupper fungerer.
- Reliabilitet: hvilken type, fra hvilket utvalg, og er standard målefeil rapportert? Det grunnleggende står i reliabilitet og validitet forklart.
- Validitet: finnes det dokumentasjon for faktorstrukturen, for sammenhenger med sammenlignbare tester og, ved seleksjon, for en sammenheng med jobbrelaterte utfall? Hvor store var utvalgene?
- Rettferdighet og språk: fungerer oppgaver og skalaer likt på tvers av grupper, og ble din språkversjon tilpasset og undersøkt, ikke bare oversatt?
- Versjon og uavhengig vurdering: gjelder dokumentasjonen den versjonen du skal bruke, og finnes det en vurdering du kan slå opp selv?
Numerisk resonnering NR-2 (en fiktiv test). Tiltenkt bruk: seleksjon og utvikling for roller på akademikernivå. Normgruppe: 1240 søkere til stillinger innen økonomi og administrasjon i Nederland, samlet inn i 2021–2022, nederlandsk versjon. Reliabilitet: ω = 0,86 (n = 1240); test–retest etter fire uker r = 0,79 (n = 112). Begrepsvaliditet: énfaktormodell bekreftet; korrelasjon med en etablert numerisk test r = 0,68 (n = 210). Kriterievaliditet: r = 0,24 med vurderinger fra nærmeste leder etter seks måneder (n = 85).
Slik leser du det. En reliabilitet på 0,86 er solid, men for en viktig beslutning om en enkeltperson ligger den mellom COTANs ankerpunkter på 0,80 og 0,90, så se på standard målefeil og unngå harde grenseverdier ved små skåreforskjeller. Normgruppen passer økonomistillinger i Nederland, ikke salgsroller eller en tysk versjon. Kriteriestudien peker i riktig retning, men med 85 personer er konfidensintervallet bredt. Konklusjon: brukbar i seleksjon sammen med annen informasjon, og et menneske tar beslutningen.
Når du utvikler eller publiserer en test selv
De samme kriteriene fungerer som en kravspesifikasjon: definer begrepet og den tiltenkte bruken, prøv ut oppgaver, og samle inn data om reliabilitet, struktur og normer i målpopulasjonen, slik det er beskrevet under testutvikling. EFPA oppfordrer uttrykkelig utviklere og utgivere til å evaluere sine egne tester med modellen. Det gir deg en strukturert egenvurdering, ikke en vurdering: en COTAN-vurdering gis bare av COTAN, gjennom deres egen prosedyre.
Psykometrisk lab hos Match.hr gjennomgår tester før de blir oppført, og kan samarbeide med deg om testvalidering. Labens kriterier følger strukturen i vurderingsmodellene til COTAN og EFPA. Laben er ikke tilknyttet eller anbefalt av noen av disse organisasjonene, og et vurderingsnivå som Validert er ikke en offisiell vurdering. Hvis du vil tilby verktøyet ditt til arbeidsgivere, begynner publisering av testen din med en slik gjennomgang.
Kilder
- Evers, A., Lucassen, W., Meijer, R. & Sijtsma, K. (2010). COTAN Beoordelingssysteem voor de Kwaliteit van Tests. Nederlands Instituut van Psychologen.
- European Federation of Psychologists' Associations (2025). Model for the Review, Description and Evaluation of Psychological and Educational Tests (Test Review Model), versjon 5.0.
- Evers, A., Muñiz, J., Hagemeister, C., Høstmælingen, A., Lindley, P., Sjöberg, A. & Bartram, D. (2013). Assessing the quality of tests: Revision of the EFPA review model. Psicothema, 25(3), 283–291.
- DIN 33430:2016-07. Anforderungen an berufsbezogene Eignungsdiagnostik.
- COTAN Documentatie, nettdatabase over COTANs testvurderinger (Boom uitgevers på vegne av NIP).