Udvikl et psykologisk instrument med Lab

Fra en klar konstruktdefinition til en scoret, dokumenteret test. Lab kan lede hele projektet eller kun de faser, I ikke selv kan dække.

Testudvikling er et projekt efter aftale. Omfang, planlægning og pris aftales efter Lab-forløbet.

Sådan forløber et udviklingsprojekt

Hver fase slutter med en beslutning: fortsæt, revider eller stop. Det holder svage items og uklare skalaer ude af den endelige test.

  1. Definér konstruktet

    Hvad præcis skal testen måle, for hvem og til hvilken beslutning? Vi skriver en konstruktdefinition med facetter, beslægtede og ikke-beslægtede konstrukter og det tilsigtede formål.

  2. Skriv og gennemgå items

    Items skrives ud fra definitionen, gennemgås af fageksperter for relevans, klarhed og kulturel tilpasning og kontrolleres for formuleringer, som kun nogle grupper ville forstå.

  3. Pilottest og analyser

    En pilottest i målgruppen viser, hvordan items opfører sig: sværhedsgrad, diskrimination, item-total-korrelationer, svarmønstre og et første blik på faktorstrukturen.

  4. Fastlæg scoring, og dokumenter

    Vi fastlægger skalaer, scoringsregler og omvendt scorede items og dokumenterer hvert valg, så testen kan gå videre til validering og normering.

Valg, der skal på plads tidligt

Disse beslutninger former alt, hvad der følger. Ændres de efter pilottesten, betyder det som regel en ny pilottest.

Tilsigtet formål

Udvælgelse, udvikling eller forskning. En test til beslutninger om enkeltpersoner kræver stærkere evidens end en til indsigt på gruppeniveau.

Målgruppe

Hvem der skal tage testen: uddannelsesniveau, karrierefase, branche. Items og normer skal passe til den population.

Sprog

Hvilke sprogversioner I har brug for nu og senere. Hver version tilpasses og analyseres for sig, ikke bare oversættes.

Itemformat

Multiple choice, Likert-skalaer, tvungne valg eller situationsitems, hver med sine styrker og svartendenser.

Længde og tid

Nok items pr. skala til reliable scorer, men ikke flere, end respondenterne kan besvare opmærksomt.

Administration

Med eller uden overvågning, tidsgrænser, enhed. Onlinebrug uden overvågning kræver ekstra opmærksomhed på eksponering af items og svarkvalitet.

Bygget til at køre på Match.hr

En test udviklet med Lab kan tilbydes på Match.hr, privat for jeres organisation eller i biblioteket, med scoring og rapporter håndteret af platformen. Hvilke af punkterne nedenfor der gælder for jeres test, og fra hvornår, aftaler vi i Lab-forløbet.

  • Skalaer, delskalaer og omvendt scorede items som defineret i scoringsreglerne
  • Normscorer som percentiler, stanines og T-scorer, så snart der findes en normgruppe
  • Separat analyse af hver sprogversion
  • Itemstatistik, der genberegnes, efterhånden som antallet af testninger vokser
  • En psykometrisk deklaration, der viser vurderingsniveauet og evidensen indtil nu

Vores vurderingskriterier følger strukturen i COTAN’s og EFPA’s modeller for testvurdering. Selve vurderingen foretages af Match.hr.

En ny test starter uden evidens

En pilottest viser, om items opfører sig som tilsigtet. Den viser ikke, at testen forudsiger noget. Evidens for et bestemt formål, for eksempel udvælgelse, kræver et valideringsstudie med tilstrækkeligt mange deltagere og et relevant kriterium. Indtil da skal testen præsenteres som under udvikling og ikke bruges alene til beslutninger om mennesker.

Ofte stillede spørgsmål

Hvor mange personer kræver en pilottest?

Det afhænger af analyserne. Itemstatistik bliver nogenlunde stabil med et par hundrede respondenter pr. sprogversion; en faktoranalyse kræver som regel flere, især med mange skalaer. I Lab-forløbet finder vi frem til en stikprøvestørrelse, der passer til jeres spørgsmål og jeres adgang til målgruppen.

Kan I udvikle en test på flere sprog på én gang?

Ja, men vi behandler hvert sprog som sin egen version. Items tilpasses af personer med sproget som modersmål og faglig viden og gennemgås for betydning, ikke kun for ordlyd. Om versionerne måler det samme, er et spørgsmål til data, så hver version pilottestes og analyseres for sig.

Hvem ejer instrumentet?

Rettigheder og licenser aftales skriftligt, før arbejdet går i gang. Hvis I senere vil tilbyde testen til andre organisationer, forklarer «Udgiv din test», hvordan instrumenter optages på Match.hr.

Hvad indeholder dokumentationen?

Konstruktdefinitionen, hvordan items blev skrevet og gennemgået, pilotstikprøven og resultaterne, scoringsreglerne, det tilsigtede formål og dets begrænsninger. Den er grundlaget for en teknisk manual, når validering og normering er gennemført.

Test din første kandidat i dag

Gratis konto, intet kreditkort, resultater på få minutter.