Slik vurderer du kvaliteten på en psykologisk test

Alle testleverandører beskriver verktøyene sine som reliable og valide. Vurderingsrammeverkene til COTAN og EFPA gir deg en strukturert måte å sjekke den påstanden selv, kriterium for kriterium, før du bruker en test som grunnlag for beslutninger om mennesker.

Kort fortalt

  • Vurder en test for en bestemt bruk: det som er godt nok til utvikling, kan være for tynt til seleksjon.
  • COTAN vurderer tester på sju separate kriterier, fra prinsippene for testkonstruksjon til kriterievaliditet.
  • EFPAs Test Review Model er det europeiske rammeverket som nasjonale psykologforeninger baserer testvurderingene sine på.
  • Et manglende tall i en håndbok er et funn i seg selv: ingen dokumentasjon er ikke det samme som god dokumentasjon.
  • Offisielle vurderinger kommer bare fra vurderingsorganet selv. Be om kilde og dato, og slå det opp.

Hvorfor uavhengige kriterier hjelper når du velger en test

Å velge en test ut fra en brosjyre er risikabelt. Markedsmateriell har en tendens til å sitere den beste koeffisienten fra det gunstigste utvalget og tie om det som aldri er undersøkt. Et fast sett med kriterier gjør et inntrykk om til konkrete spørsmål: hva er testen til for, hvor presise er skårene, hvem sammenlignes kandidatene med, og finnes det dokumentasjon på at skårene henger sammen med det som betyr noe i jobben?

To rammeverk er mye brukt i Europa. COTAN, testkomiteen i den nederlandske psykologforeningen (Nederlands Instituut van Psychologen, NIP), har dokumentert tester siden 1959 og publisert vurderinger siden 1969. Test Review Model fra European Federation of Psychologists’ Associations (EFPA) ble bygget delvis på COTAN-systemet og på britiske og spanske kriterier. Ingen av dem gir en test et universelt godkjenningsstempel: begge spør om dokumentasjonen støtter en bestemt bruk, med bestemte personer, på et bestemt språk.

COTANs sju kriterier i klartekst

COTAN vurderer hver test på sju kriterier. To vurderere vurderer testen uavhengig av hverandre, og hvert kriterium får sin egen vurdering; det finnes ingen samlet skåre. I 2010-utgaven av vurderingssystemet er hver vurdering enten utilstrekkelig, tilstrekkelig eller god.

  • Prinsipper for testkonstruksjon: er tiltenkt bruk, målgrupper og begrep beskrevet og teoretisk forankret? Det en test hevder å måle, avgjør hvilken dokumentasjon den trenger.
  • Kvaliteten på testmateriellet: er oppgaver, instruksjoner og skåring standardisert, og er innholdet fritt for oppgaver som kan virke støtende for bestemte grupper?
  • Kvaliteten på håndboken: gir den deg det du trenger for å administrere testen og tolke skårene riktig, inkludert grensene for den tolkningen?
  • Normer: er normgruppene store nok, representative for dem du sammenligner kandidater med, og oppdaterte? En normtabell uten dato eller beskrivelse av gruppen kan ikke vurderes.
  • Reliabilitet: hvor presise er skårene, ifølge hvilken type studie og hvilket utvalg?
  • Begrepsvaliditet: finnes det dokumentasjon på at testen måler det den hevder å måle, for eksempel ut fra faktorstrukturen og sammenhengene med andre mål?
  • Kriterievaliditet: henger skårene sammen med utfall som jobbprestasjon, opplæringsresultater eller turnover, og hvor godt ble det utfallet målt?

En utilstrekkelig vurdering kan bety at dokumentasjonen var svak, eller at den aldri ble lagt frem. COTAN behandler begge likt, fordi bevisbyrden ligger hos testforfatteren. For deg kan forskjellen ha betydning: en ny test med lite data er ikke det samme som en test som ikke holdt mål. Uansett er det et varselsignal, og hvis du likevel bruker testen, bør du kunne forklare hvorfor.

COTAN-vurderinger gis bare av COTAN selv og publiseres i den nettbaserte COTAN Documentatie, som Boom uitgevers utgir på vegne av NIP. Hvis en leverandør nevner en COTAN-vurdering, bør du slå den opp der og sjekke hvilken versjon av testen og håndboken den gjelder.

EFPAs Test Review Model og beslektede rammeverk

EFPAs Test Review Model er et strukturert vurderingsskjema med veiledning for vurderere, basert på kriterier fra British Psychological Society, den spanske psykologforeningen og COTAN. Versjon 4.2.6 er fra 2013; versjon 5.0, en omfattende revisjon, ble publisert i august 2025.

Modellen beskriver først verktøyet og vurderer deretter begrunnelse og dokumentasjon, testmateriell, normer, reliabilitet, validitet, støtte for rettferdig bruk og kvaliteten på digitalt genererte rapporter, og avslutter med en samlet vurdering. Validitetsdokumentasjonen er gruppert etter kilde: testinnhold, indre struktur, sammenhenger med andre variabler og andre kilder.

Modellen er ment å tilpasses nasjonale ordninger og brukes av fagkyndige vurderere; foreninger som British Psychological Society har basert testvurderingene sine på den. EFPA presiserer at vurderinger gitt med modellen ikke innebærer at EFPA går god for en test, og at markedsføring ikke må antyde noe annet. En leverandør som kaller testen sin «godkjent av EFPA», har misforstått modellen.

DIN 33430 i Tyskland

DIN 33430, den tyske standarden for jobbrelatert egnethetsvurdering, ble sist revidert i 2016. Den vurderer ikke enkelttester, men dekker hele prosessen: avklaring av oppdraget, analyse av kravene i rollen, valg av metoder, gjennomføring og tolkning, dokumentasjon og kvalifikasjonene til dem som er involvert. Et vedlegg beskriver hva dokumentasjonen av en psykometrisk test bør inneholde, noe som gjør den til en nyttig sjekkliste også utenfor Tyskland.

En sjekkliste for å lese en teknisk håndbok

Uansett hvilket rammeverk du bruker, ligger dokumentasjonen i den tekniske håndboken. Be om den før du kjøper, og les den med din egen beslutning i tankene.

  • Tiltenkt bruk: nevner håndboken din bruk, og sier den hva testen ikke er ment for?
  • Normgrupper: størrelse, sammensetning, land, språk og år for datainnsamling. Ligner de på kandidatene dine? Se hvordan normgrupper fungerer.
  • Reliabilitet: hvilken type, fra hvilket utvalg, og er standard målefeil rapportert? Det grunnleggende står i reliabilitet og validitet forklart.
  • Validitet: finnes det dokumentasjon for faktorstrukturen, for sammenhenger med sammenlignbare tester og, ved seleksjon, for en sammenheng med jobbrelaterte utfall? Hvor store var utvalgene?
  • Rettferdighet og språk: fungerer oppgaver og skalaer likt på tvers av grupper, og ble din språkversjon tilpasset og undersøkt, ikke bare oversatt?
  • Versjon og uavhengig vurdering: gjelder dokumentasjonen den versjonen du skal bruke, og finnes det en vurdering du kan slå opp selv?
Eksempel Fiktivt utdrag fra en håndbok

Numerisk resonnering NR-2 (en fiktiv test). Tiltenkt bruk: seleksjon og utvikling for roller på akademikernivå. Normgruppe: 1240 søkere til stillinger innen økonomi og administrasjon i Nederland, samlet inn i 2021–2022, nederlandsk versjon. Reliabilitet: ω = 0,86 (n = 1240); test–retest etter fire uker r = 0,79 (n = 112). Begrepsvaliditet: énfaktormodell bekreftet; korrelasjon med en etablert numerisk test r = 0,68 (n = 210). Kriterievaliditet: r = 0,24 med vurderinger fra nærmeste leder etter seks måneder (n = 85).

Slik leser du det. En reliabilitet på 0,86 er solid, men for en viktig beslutning om en enkeltperson ligger den mellom COTANs ankerpunkter på 0,80 og 0,90, så se på standard målefeil og unngå harde grenseverdier ved små skåreforskjeller. Normgruppen passer økonomistillinger i Nederland, ikke salgsroller eller en tysk versjon. Kriteriestudien peker i riktig retning, men med 85 personer er konfidensintervallet bredt. Konklusjon: brukbar i seleksjon sammen med annen informasjon, og et menneske tar beslutningen.

Når du utvikler eller publiserer en test selv

De samme kriteriene fungerer som en kravspesifikasjon: definer begrepet og den tiltenkte bruken, prøv ut oppgaver, og samle inn data om reliabilitet, struktur og normer i målpopulasjonen, slik det er beskrevet under testutvikling. EFPA oppfordrer uttrykkelig utviklere og utgivere til å evaluere sine egne tester med modellen. Det gir deg en strukturert egenvurdering, ikke en vurdering: en COTAN-vurdering gis bare av COTAN, gjennom deres egen prosedyre.

Psykometrisk lab hos Match.hr gjennomgår tester før de blir oppført, og kan samarbeide med deg om testvalidering. Labens kriterier følger strukturen i vurderingsmodellene til COTAN og EFPA. Laben er ikke tilknyttet eller anbefalt av noen av disse organisasjonene, og et vurderingsnivå som Validert er ikke en offisiell vurdering. Hvis du vil tilby verktøyet ditt til arbeidsgivere, begynner publisering av testen din med en slik gjennomgang.

Kilder

Ofte stilte spørsmål

Betyr en god COTAN-vurdering at en test passer i min seleksjonsprosess?

Ikke automatisk. En vurdering beskriver dokumentasjonen for de bruksområdene og gruppene testen er undersøkt for, på tidspunktet for vurderingen. Sjekk om normgruppen passer kandidatene dine, om språkversjonen du bruker, var en del av dokumentasjonen, og om vurderingen fortsatt gjelder den nåværende versjonen av testen og håndboken. En vurdering støtter valget ditt av test; beslutninger om kandidater ligger fortsatt hos mennesker.

Hvor kan jeg sjekke om en test er vurdert?

For COTAN i den nettbaserte COTAN Documentatie, utgitt av Boom uitgevers på vegne av NIP. For vurderinger basert på EFPA-modellen går du til den nasjonale psykologforeningen som gjennomførte vurderingen, for eksempel British Psychological Society i Storbritannia. I Tyskland publiserer Diagnostik- und Testkuratorium vurderinger etter sitt eget system, TBS-DTK. Be leverandøren om nøyaktig referanse og dato, og sjekk den selv.

Er testene i Match.hr vurdert av COTAN eller EFPA?

Labens gjennomganger er ikke COTAN-vurderinger eller EFPA-baserte vurderinger utført av en nasjonal forening. Labens kriterier følger strukturen i begge vurderingsmodellene, og Match.hr er ikke tilknyttet eller anbefalt av noen av organisasjonene. Hva som er undersøkt for en test, vises i den psykometriske deklarasjonen og, når den er publisert, i testens tekniske håndbok. Hvis en utgivers test på plattformen har en uavhengig vurdering, be om referansen og slå den opp.

Hva om en test aldri har blitt vurdert?

Det er vanlig, særlig for nyere tester og nettester. Gå gjennom sjekklisten ovenfor med den tekniske håndboken, og be leverandøren om det som mangler. Behandle et manglende tall som ukjent, ikke som i orden. Der dokumentasjonen er tynn, bør du vurdere å bruke testen i utviklingssamtaler i stedet for i seleksjon til mer data foreligger.

Test din første kandidat i dag

Gratis konto, uten kredittkort, resultater på få minutter.