Näin arvioit psykologisen testin laatua

Jokainen testitoimittaja kuvaa mittareitaan reliaabeleiksi ja valideiksi. COTANin ja EFPAn arviointikehykset antavat jäsennellyn tavan tarkistaa väite itse, kriteeri kriteeriltä, ennen kuin käytät testiä ihmisiä koskevien päätösten tukena.

Lyhyesti

  • Arvioi testiä tiettyyn käyttötarkoitukseen: se, mikä riittää kehittämiseen, voi olla henkilövalintaan liian ohutta.
  • COTAN arvioi testejä seitsemällä erillisellä kriteerillä testin rakentamisen periaatteista kriteerivaliditeettiin.
  • EFPAn Test Review Model on eurooppalainen kehys, johon kansalliset psykologiliitot perustavat testiarviointinsa.
  • Käsikirjasta puuttuva luku on jo itsessään havainto: näytön puuttuminen ei ole sama asia kuin hyvä näyttö.
  • Virallisia arvioita antaa vain arvioiva taho itse. Kysy lähde ja päivämäärä, ja tarkista ne.

Miksi riippumattomat kriteerit auttavat testiä valitessa

Testin valitseminen esitteen perusteella on riskialtista. Markkinointimateriaali lainaa yleensä parhaan kertoimen edullisimmasta otoksesta ja vaikenee siitä, mitä ei ole koskaan tutkittu. Kiinteä kriteeristö muuttaa vaikutelman täsmällisiksi kysymyksiksi: mihin testi on tarkoitettu, kuinka tarkkoja pisteet ovat, mihin hakijoita verrataan ja onko näyttöä siitä, että pisteet ovat yhteydessä työssä olennaisiin asioihin?

Euroopassa on laajassa käytössä kaksi kehystä. COTAN, Alankomaiden psykologiliiton (Nederlands Instituut van Psychologen, NIP) testilautakunta, on dokumentoinut testejä vuodesta 1959 ja julkaissut arvioita vuodesta 1969. Euroopan psykologiliittojen liiton (European Federation of Psychologists' Associations, EFPA) Test Review Model rakennettiin osittain COTANin järjestelmän sekä brittiläisten ja espanjalaisten kriteerien pohjalle. Kumpikaan ei anna testille yleispätevää hyväksyntäleimaa: molemmat kysyvät, tukeeko näyttö tiettyä käyttötarkoitusta tiettyjen ihmisten kanssa tietyllä kielellä.

COTANin seitsemän kriteeriä selkokielellä

COTAN arvioi jokaisen testin seitsemällä kriteerillä. Kaksi arvioijaa arvioi testin toisistaan riippumatta, ja jokainen kriteeri saa oman arvionsa; kokonaispistemäärää ei ole. Arviointijärjestelmän vuoden 2010 versiossa kukin arvio on riittämätön, riittävä tai hyvä.

  • Testin rakentamisen periaatteet: onko käyttötarkoitus, kohderyhmät ja mitattava ominaisuus kuvattu ja perusteltu teoreettisesti? Se, mitä testi väittää mittaavansa, määrää, millaista näyttöä se tarvitsee.
  • Testimateriaalin laatu: onko tehtävät, ohjeet ja pisteytys vakioitu, ja onko sisältö vapaa osioista, jotka voisivat loukata tiettyjä ryhmiä?
  • Käsikirjan laatu: antaako se sen, mitä tarvitset testin toteuttamiseen ja pisteiden oikeaan tulkintaan, mukaan lukien tulkinnan rajat?
  • Normit: ovatko normiryhmät riittävän suuria, edustavatko ne ihmisiä, joihin hakijoita verrataan, ja ovatko ne tuoreita? Normitaulukkoa, jossa ei ole päivämäärää tai ryhmän kuvausta, ei voi arvioida.
  • Reliabiliteetti: kuinka tarkkoja pisteet ovat, minkä tyyppisen tutkimuksen ja minkä otoksen mukaan?
  • Käsitevaliditeetti: onko näyttöä siitä, että testi mittaa sitä, mitä sen väitetään mittaavan, esimerkiksi sen faktorirakenteesta ja suhteista muihin mittareihin?
  • Kriteerivaliditeetti: ovatko pisteet yhteydessä lopputuloksiin, kuten työsuoritukseen, koulutuksessa menestymiseen tai vaihtuvuuteen, ja kuinka hyvin lopputulos mitattiin?

Riittämätön arvio voi tarkoittaa, että näyttö oli heikkoa tai että sitä ei koskaan esitetty. COTAN käsittelee molempia samalla tavalla, koska näyttötaakka on testin tekijällä. Sinulle ero voi olla merkityksellinen: uusi testi, josta on vähän aineistoa, ei ole sama asia kuin testi, joka jäi vaatimuksista. Kummassakin tapauksessa se on varoitusmerkki, ja jos käytät testiä silti, sinun pitää pystyä perustelemaan miksi.

COTAN-arvioita antaa vain COTAN itse, ja ne julkaistaan verkossa COTAN Documentatie -tietokannassa, jota Boom uitgevers julkaisee NIP:n puolesta. Jos toimittaja mainitsee COTAN-arvion, tarkista se sieltä ja katso, mitä testin ja käsikirjan versiota se koskee.

EFPAn Test Review Model ja muut kehykset

EFPAn Test Review Model on jäsennelty arviointilomake ohjeineen arvioijille, ja se perustuu British Psychological Societyn, Espanjan psykologiliiton ja COTANin kriteereihin. Versio 4.2.6 on vuodelta 2013; versio 5.0, laaja uudistus, julkaistiin elokuussa 2025.

Malli kuvaa ensin mittarin ja arvioi sitten sen perustelut ja dokumentaation, testimateriaalin, normit, reliabiliteetin, validiteetin, oikeudenmukaisen käytön tuen sekä digitaalisesti tuotettujen raporttien laadun, ja päättyy kokonaisarvioon. Validiteettinäyttö ryhmitellään lähteen mukaan: testin sisältö, sisäinen rakenne, suhteet muihin muuttujiin ja muut lähteet.

Malli on tarkoitettu sovitettavaksi kansallisiin järjestelyihin ja asiantuntija-arvioijien käyttöön; esimerkiksi British Psychological Society on perustanut testiarviointinsa siihen. EFPA toteaa, etteivät mallilla annetut arviot tarkoita, että EFPA hyväksyisi tai suosittelisi testiä, eikä mainonnassa saa antaa muuta ymmärtää. Toimittaja, joka kutsuu testiään EFPAn hyväksymäksi, on ymmärtänyt mallin väärin.

DIN 33430 Saksassa

DIN 33430, ammatillista soveltuvuusarviointia koskeva saksalainen standardi, uudistettiin viimeksi vuonna 2016. Se ei arvioi yksittäisiä testejä vaan kattaa koko prosessin: toimeksiannon selventämisen, tehtävän vaatimusten analyysin, menetelmien valinnan, toteutuksen ja tulkinnan, dokumentoinnin sekä mukana olevien henkilöiden pätevyyden. Liitteessä kuvataan, mitä psykometrisen testin dokumentaation tulee sisältää, mikä tekee siitä hyödyllisen tarkistuslistan myös Saksan ulkopuolella.

Tarkistuslista teknisen käsikirjan lukemiseen

Käytitpä mitä kehystä tahansa, näyttö löytyy teknisestä käsikirjasta. Pyydä se ennen ostamista ja lue se oma päätöksesi mielessäsi.

  • Käyttötarkoitus: mainitaanko käsikirjassa sinun käyttötarkoituksesi, ja kerrotaanko siinä, mihin testiä ei ole tarkoitettu?
  • Normiryhmät: koko, koostumus, maa, kieli ja aineiston keruuvuosi. Muistuttavatko ne hakijoitasi? Katso miten normiryhmät toimivat.
  • Reliabiliteetti: mikä laji, mistä otoksesta, ja raportoidaanko mittauksen keskivirhe? Perusteet löytyvät oppaasta reliabiliteetti ja validiteetti selitettynä.
  • Validiteetti: onko näyttöä faktorirakenteesta, suhteista vastaaviin testeihin ja, valintakäytössä, yhteydestä työhön liittyviin lopputuloksiin? Kuinka suuria otokset olivat?
  • Reiluus ja kielet: toimivatko osiot ja asteikot samalla tavalla eri ryhmissä, ja onko kieliversiosi sovitettu ja tutkittu eikä vain käännetty?
  • Versio ja riippumaton arvio: koskeeko näyttö käyttämääsi versiota, ja onko olemassa arvio, jonka voit itse tarkistaa?
Esimerkki Kuvitteellinen ote käsikirjasta

Numeerinen päättely NR-2 (kuvitteellinen testi). Käyttötarkoitus: valinta ja kehittäminen korkeakoulutasoisissa tehtävissä. Normiryhmä: 1 240 hakijaa talous- ja hallintotehtäviin Alankomaissa, kerätty 2021–2022, hollanninkielinen versio. Reliabiliteetti: ω = 0,86 (n = 1 240); test-retest neljän viikon jälkeen r = 0,79 (n = 112). Käsitevaliditeetti: yhden faktorin malli vahvistettu; korrelaatio vakiintuneen numeerisen testin kanssa r = 0,68 (n = 210). Kriteerivaliditeetti: r = 0,24 esihenkilöarvioiden kanssa kuuden kuukauden jälkeen (n = 85).

Näin sitä luetaan. Reliabiliteetti 0,86 on vankka, mutta yksilöä koskevassa tärkeässä päätöksessä se sijoittuu COTANin ankkuripisteiden 0,80 ja 0,90 väliin, joten katso mittauksen keskivirhettä ja vältä jyrkkiä karsintarajoja pienten pistemäärien erojen kohdalla. Normiryhmä sopii taloustehtäviin Alankomaissa, ei myyntitehtäviin eikä saksankieliseen versioon. Kriteeritutkimus osoittaa oikeaan suuntaan, mutta 85 hengen otoksella luottamusväli on leveä. Johtopäätös: käyttökelpoinen henkilövalinnassa muun tiedon rinnalla, ja päätöksen tekee ihminen.

Kun kehität tai julkaiset testin itse

Samat kriteerit toimivat suunnitteluohjeena: määrittele mitattava ominaisuus ja käyttötarkoitus, kokeile osioita ja kerää kohdejoukosta aineistoa reliabiliteetista, rakenteesta ja normeista, kuten sivulla Testien kehitys kuvataan. EFPA kannustaa nimenomaisesti kehittäjiä ja julkaisijoita arvioimaan omia testejään sen mallilla. Siitä saat jäsennellyn itsearvion, et arviota: COTAN-arvion antaa vain COTAN oman menettelynsä kautta.

Match.hr:n psykometrinen laboratorio arvioi testit ennen kuin ne listataan, ja voi tehdä kanssasi testien validointia. Laboratorion kriteerit noudattavat COTANin ja EFPAn arviointimallien rakennetta. Laboratorio ei ole sidoksissa kumpaankaan organisaatioon, eikä kumpikaan niistä ole hyväksynyt sitä, eikä arviointitaso, kuten Validoitu, ole virallinen arvio. Jos haluat tarjota mittariasi työnantajille, testin julkaiseminen alkaa tästä arvioinnista.

Lähteet

Usein kysytyt kysymykset

Tarkoittaako hyvä COTAN-arvio, että testi sopii valintamenettelyymme?

Ei automaattisesti. Arvio kuvaa näyttöä niistä käyttötarkoituksista ja ryhmistä, joihin testiä on tutkittu, arvioinnin ajankohtana. Tarkista, vastaako normiryhmä hakijoitasi, oliko käyttämäsi kieliversio mukana näytössä ja koskeeko arvio yhä testin ja käsikirjan nykyistä versiota. Arvio tukee testin valintaa; hakijoita koskevat päätökset tekevät ihmiset.

Mistä voin tarkistaa, onko testi arvioitu?

COTANin osalta verkossa olevasta COTAN Documentatie -tietokannasta, jota Boom uitgevers julkaisee NIP:n puolesta. EFPAn malliin perustuvien arvioiden osalta käänny arvion tehneen kansallisen psykologiliiton puoleen, kuten Isossa-Britanniassa British Psychological Societyn. Saksassa Diagnostik- und Testkuratorium julkaisee arvioita omalla järjestelmällään, TBS-DTK:lla. Pyydä toimittajalta tarkka viite ja päivämäärä ja tarkista ne itse.

Onko COTAN tai EFPA arvioinut Match.hr:n testit?

Laboratorion arviot eivät ole COTAN-arvioita eivätkä kansallisen psykologiliiton EFPAn malliin perustuvia arvioita. Laboratorion kriteerit noudattavat kummankin arviointimallin rakennetta, eikä Match.hr ole sidoksissa kumpaankaan organisaatioon eikä kumpikaan ole hyväksynyt sitä. Se, mitä testistä on tutkittu, näkyy sen psykometrisessä selosteessa ja julkaisun jälkeen sen teknisessä käsikirjassa. Jos alustalla olevalla julkaisijan testillä on riippumaton arvio, pyydä viite ja tarkista se.

Entä jos testiä ei ole koskaan arvioitu?

Se on yleistä, etenkin uudemmissa ja verkkotesteissä. Käy yllä oleva tarkistuslista läpi teknisen käsikirjan avulla ja pyydä toimittajalta kaikki puuttuva. Pidä puuttuvaa lukua tuntemattomana, älä kunnossa olevana. Jos näyttö on niukkaa, harkitse testin käyttämistä kehityskeskusteluissa henkilövalinnan sijaan, kunnes aineistoa on enemmän.

Testaa ensimmäinen hakijasi jo tänään

Maksuton tili, ei luottokorttia, tulokset minuuteissa.