Näin arvioit psykologisen testin laatua
Jokainen testitoimittaja kuvaa mittareitaan reliaabeleiksi ja valideiksi. COTANin ja EFPAn arviointikehykset antavat jäsennellyn tavan tarkistaa väite itse, kriteeri kriteeriltä, ennen kuin käytät testiä ihmisiä koskevien päätösten tukena.
Lyhyesti
- Arvioi testiä tiettyyn käyttötarkoitukseen: se, mikä riittää kehittämiseen, voi olla henkilövalintaan liian ohutta.
- COTAN arvioi testejä seitsemällä erillisellä kriteerillä testin rakentamisen periaatteista kriteerivaliditeettiin.
- EFPAn Test Review Model on eurooppalainen kehys, johon kansalliset psykologiliitot perustavat testiarviointinsa.
- Käsikirjasta puuttuva luku on jo itsessään havainto: näytön puuttuminen ei ole sama asia kuin hyvä näyttö.
- Virallisia arvioita antaa vain arvioiva taho itse. Kysy lähde ja päivämäärä, ja tarkista ne.
Miksi riippumattomat kriteerit auttavat testiä valitessa
Testin valitseminen esitteen perusteella on riskialtista. Markkinointimateriaali lainaa yleensä parhaan kertoimen edullisimmasta otoksesta ja vaikenee siitä, mitä ei ole koskaan tutkittu. Kiinteä kriteeristö muuttaa vaikutelman täsmällisiksi kysymyksiksi: mihin testi on tarkoitettu, kuinka tarkkoja pisteet ovat, mihin hakijoita verrataan ja onko näyttöä siitä, että pisteet ovat yhteydessä työssä olennaisiin asioihin?
Euroopassa on laajassa käytössä kaksi kehystä. COTAN, Alankomaiden psykologiliiton (Nederlands Instituut van Psychologen, NIP) testilautakunta, on dokumentoinut testejä vuodesta 1959 ja julkaissut arvioita vuodesta 1969. Euroopan psykologiliittojen liiton (European Federation of Psychologists' Associations, EFPA) Test Review Model rakennettiin osittain COTANin järjestelmän sekä brittiläisten ja espanjalaisten kriteerien pohjalle. Kumpikaan ei anna testille yleispätevää hyväksyntäleimaa: molemmat kysyvät, tukeeko näyttö tiettyä käyttötarkoitusta tiettyjen ihmisten kanssa tietyllä kielellä.
COTANin seitsemän kriteeriä selkokielellä
COTAN arvioi jokaisen testin seitsemällä kriteerillä. Kaksi arvioijaa arvioi testin toisistaan riippumatta, ja jokainen kriteeri saa oman arvionsa; kokonaispistemäärää ei ole. Arviointijärjestelmän vuoden 2010 versiossa kukin arvio on riittämätön, riittävä tai hyvä.
- Testin rakentamisen periaatteet: onko käyttötarkoitus, kohderyhmät ja mitattava ominaisuus kuvattu ja perusteltu teoreettisesti? Se, mitä testi väittää mittaavansa, määrää, millaista näyttöä se tarvitsee.
- Testimateriaalin laatu: onko tehtävät, ohjeet ja pisteytys vakioitu, ja onko sisältö vapaa osioista, jotka voisivat loukata tiettyjä ryhmiä?
- Käsikirjan laatu: antaako se sen, mitä tarvitset testin toteuttamiseen ja pisteiden oikeaan tulkintaan, mukaan lukien tulkinnan rajat?
- Normit: ovatko normiryhmät riittävän suuria, edustavatko ne ihmisiä, joihin hakijoita verrataan, ja ovatko ne tuoreita? Normitaulukkoa, jossa ei ole päivämäärää tai ryhmän kuvausta, ei voi arvioida.
- Reliabiliteetti: kuinka tarkkoja pisteet ovat, minkä tyyppisen tutkimuksen ja minkä otoksen mukaan?
- Käsitevaliditeetti: onko näyttöä siitä, että testi mittaa sitä, mitä sen väitetään mittaavan, esimerkiksi sen faktorirakenteesta ja suhteista muihin mittareihin?
- Kriteerivaliditeetti: ovatko pisteet yhteydessä lopputuloksiin, kuten työsuoritukseen, koulutuksessa menestymiseen tai vaihtuvuuteen, ja kuinka hyvin lopputulos mitattiin?
Riittämätön arvio voi tarkoittaa, että näyttö oli heikkoa tai että sitä ei koskaan esitetty. COTAN käsittelee molempia samalla tavalla, koska näyttötaakka on testin tekijällä. Sinulle ero voi olla merkityksellinen: uusi testi, josta on vähän aineistoa, ei ole sama asia kuin testi, joka jäi vaatimuksista. Kummassakin tapauksessa se on varoitusmerkki, ja jos käytät testiä silti, sinun pitää pystyä perustelemaan miksi.
COTAN-arvioita antaa vain COTAN itse, ja ne julkaistaan verkossa COTAN Documentatie -tietokannassa, jota Boom uitgevers julkaisee NIP:n puolesta. Jos toimittaja mainitsee COTAN-arvion, tarkista se sieltä ja katso, mitä testin ja käsikirjan versiota se koskee.
EFPAn Test Review Model ja muut kehykset
EFPAn Test Review Model on jäsennelty arviointilomake ohjeineen arvioijille, ja se perustuu British Psychological Societyn, Espanjan psykologiliiton ja COTANin kriteereihin. Versio 4.2.6 on vuodelta 2013; versio 5.0, laaja uudistus, julkaistiin elokuussa 2025.
Malli kuvaa ensin mittarin ja arvioi sitten sen perustelut ja dokumentaation, testimateriaalin, normit, reliabiliteetin, validiteetin, oikeudenmukaisen käytön tuen sekä digitaalisesti tuotettujen raporttien laadun, ja päättyy kokonaisarvioon. Validiteettinäyttö ryhmitellään lähteen mukaan: testin sisältö, sisäinen rakenne, suhteet muihin muuttujiin ja muut lähteet.
Malli on tarkoitettu sovitettavaksi kansallisiin järjestelyihin ja asiantuntija-arvioijien käyttöön; esimerkiksi British Psychological Society on perustanut testiarviointinsa siihen. EFPA toteaa, etteivät mallilla annetut arviot tarkoita, että EFPA hyväksyisi tai suosittelisi testiä, eikä mainonnassa saa antaa muuta ymmärtää. Toimittaja, joka kutsuu testiään EFPAn hyväksymäksi, on ymmärtänyt mallin väärin.
DIN 33430 Saksassa
DIN 33430, ammatillista soveltuvuusarviointia koskeva saksalainen standardi, uudistettiin viimeksi vuonna 2016. Se ei arvioi yksittäisiä testejä vaan kattaa koko prosessin: toimeksiannon selventämisen, tehtävän vaatimusten analyysin, menetelmien valinnan, toteutuksen ja tulkinnan, dokumentoinnin sekä mukana olevien henkilöiden pätevyyden. Liitteessä kuvataan, mitä psykometrisen testin dokumentaation tulee sisältää, mikä tekee siitä hyödyllisen tarkistuslistan myös Saksan ulkopuolella.
Tarkistuslista teknisen käsikirjan lukemiseen
Käytitpä mitä kehystä tahansa, näyttö löytyy teknisestä käsikirjasta. Pyydä se ennen ostamista ja lue se oma päätöksesi mielessäsi.
- Käyttötarkoitus: mainitaanko käsikirjassa sinun käyttötarkoituksesi, ja kerrotaanko siinä, mihin testiä ei ole tarkoitettu?
- Normiryhmät: koko, koostumus, maa, kieli ja aineiston keruuvuosi. Muistuttavatko ne hakijoitasi? Katso miten normiryhmät toimivat.
- Reliabiliteetti: mikä laji, mistä otoksesta, ja raportoidaanko mittauksen keskivirhe? Perusteet löytyvät oppaasta reliabiliteetti ja validiteetti selitettynä.
- Validiteetti: onko näyttöä faktorirakenteesta, suhteista vastaaviin testeihin ja, valintakäytössä, yhteydestä työhön liittyviin lopputuloksiin? Kuinka suuria otokset olivat?
- Reiluus ja kielet: toimivatko osiot ja asteikot samalla tavalla eri ryhmissä, ja onko kieliversiosi sovitettu ja tutkittu eikä vain käännetty?
- Versio ja riippumaton arvio: koskeeko näyttö käyttämääsi versiota, ja onko olemassa arvio, jonka voit itse tarkistaa?
Numeerinen päättely NR-2 (kuvitteellinen testi). Käyttötarkoitus: valinta ja kehittäminen korkeakoulutasoisissa tehtävissä. Normiryhmä: 1 240 hakijaa talous- ja hallintotehtäviin Alankomaissa, kerätty 2021–2022, hollanninkielinen versio. Reliabiliteetti: ω = 0,86 (n = 1 240); test-retest neljän viikon jälkeen r = 0,79 (n = 112). Käsitevaliditeetti: yhden faktorin malli vahvistettu; korrelaatio vakiintuneen numeerisen testin kanssa r = 0,68 (n = 210). Kriteerivaliditeetti: r = 0,24 esihenkilöarvioiden kanssa kuuden kuukauden jälkeen (n = 85).
Näin sitä luetaan. Reliabiliteetti 0,86 on vankka, mutta yksilöä koskevassa tärkeässä päätöksessä se sijoittuu COTANin ankkuripisteiden 0,80 ja 0,90 väliin, joten katso mittauksen keskivirhettä ja vältä jyrkkiä karsintarajoja pienten pistemäärien erojen kohdalla. Normiryhmä sopii taloustehtäviin Alankomaissa, ei myyntitehtäviin eikä saksankieliseen versioon. Kriteeritutkimus osoittaa oikeaan suuntaan, mutta 85 hengen otoksella luottamusväli on leveä. Johtopäätös: käyttökelpoinen henkilövalinnassa muun tiedon rinnalla, ja päätöksen tekee ihminen.
Kun kehität tai julkaiset testin itse
Samat kriteerit toimivat suunnitteluohjeena: määrittele mitattava ominaisuus ja käyttötarkoitus, kokeile osioita ja kerää kohdejoukosta aineistoa reliabiliteetista, rakenteesta ja normeista, kuten sivulla Testien kehitys kuvataan. EFPA kannustaa nimenomaisesti kehittäjiä ja julkaisijoita arvioimaan omia testejään sen mallilla. Siitä saat jäsennellyn itsearvion, et arviota: COTAN-arvion antaa vain COTAN oman menettelynsä kautta.
Match.hr:n psykometrinen laboratorio arvioi testit ennen kuin ne listataan, ja voi tehdä kanssasi testien validointia. Laboratorion kriteerit noudattavat COTANin ja EFPAn arviointimallien rakennetta. Laboratorio ei ole sidoksissa kumpaankaan organisaatioon, eikä kumpikaan niistä ole hyväksynyt sitä, eikä arviointitaso, kuten Validoitu, ole virallinen arvio. Jos haluat tarjota mittariasi työnantajille, testin julkaiseminen alkaa tästä arvioinnista.
Lähteet
- Evers, A., Lucassen, W., Meijer, R. & Sijtsma, K. (2010). COTAN Beoordelingssysteem voor de Kwaliteit van Tests. Nederlands Instituut van Psychologen.
- European Federation of Psychologists' Associations (2025). Model for the Review, Description and Evaluation of Psychological and Educational Tests (Test Review Model), version 5.0.
- Evers, A., Muñiz, J., Hagemeister, C., Høstmælingen, A., Lindley, P., Sjöberg, A. & Bartram, D. (2013). Assessing the quality of tests: Revision of the EFPA review model. Psicothema, 25(3), 283–291.
- DIN 33430:2016-07. Anforderungen an berufsbezogene Eignungsdiagnostik.
- COTAN Documentatie, COTAN-testiarvioiden verkkotietokanta (Boom uitgevers NIP:n puolesta).