Testkwaliteit beoordelen: zo gebruik je COTAN en EFPA

Waarom onafhankelijke criteria helpen bij het kiezen van een test

Een test kiezen op basis van een brochure is riskant. Marketingmateriaal noemt vaak de mooiste coëfficiënt uit de gunstigste steekproef en zwijgt over wat nooit is onderzocht. Met een vaste set criteria maak je van een indruk concrete vragen: waarvoor is de test bedoeld, hoe nauwkeurig zijn de scores, met wie vergelijk je de kandidaat, en is er bewijs dat de scores iets zeggen over wat er in het werk toe doet?

In Europa worden twee kaders veel gebruikt. De COTAN, de Commissie Testaangelegenheden Nederland van het Nederlands Instituut van Psychologen (NIP), documenteert sinds 1959 tests en publiceert sinds 1969 beoordelingen. Het testbeoordelingsmodel van de EFPA, de Europese federatie van psychologenverenigingen, is mede gebouwd op het COTAN-systeem en op Britse en Spaanse criteria. Geen van beide geeft een test een algemeen keurmerk: ze vragen of het bewijs een bepaald gebruik ondersteunt, bij bepaalde mensen, in een bepaalde taal.

De zeven COTAN-criteria in gewone taal

De COTAN beoordeelt elke test op zeven criteria. Twee beoordelaars bekijken de test onafhankelijk van elkaar, en elk criterium krijgt een eigen oordeel; een totaalscore is er niet. In het beoordelingssysteem van 2010 luidt het oordeel onvoldoende, voldoende of goed.

• Uitgangspunten van de testconstructie: zijn gebruiksdoel, doelgroepen en construct beschreven en theoretisch onderbouwd? Wat een test pretendeert te meten, bepaalt welk bewijs nodig is.
• Kwaliteit van het testmateriaal: zijn items, instructie en scoring gestandaardiseerd, en is de inhoud vrij van items die voor bepaalde groepen kwetsend kunnen zijn?
• Kwaliteit van de handleiding: geeft die je wat je nodig hebt om de test goed af te nemen en de scores juist te interpreteren, inclusief de grenzen daarvan?
• Normen: zijn de normgroepen groot genoeg, representatief voor de mensen met wie je kandidaten vergelijkt, en actueel? Een normtabel zonder jaartal of beschrijving van de groep valt niet te beoordelen.
• Betrouwbaarheid: hoe nauwkeurig zijn de scores, volgens welk soort onderzoek en in welke steekproef?
• Begripsvaliditeit: is aangetoond dat de test meet wat hij zegt te meten, bijvoorbeeld via de factorstructuur en de samenhang met andere metingen?
• Criteriumvaliditeit: hangen de scores samen met uitkomsten als functioneren, opleidingsresultaten of verloop, en hoe goed is die uitkomst gemeten?

Een onvoldoende kan betekenen dat het bewijs zwak was of dat het nooit is aangeleverd. De COTAN behandelt beide gelijk, omdat de bewijslast bij de testauteur ligt. Voor jou kan het verschil wel uitmaken: een nieuwe test met weinig data is iets anders dan een test die tekortschoot. Hoe dan ook is het een waarschuwingssignaal: gebruik je de test toch, dan moet je kunnen uitleggen waarom.

COTAN-oordelen worden alleen door de COTAN zelf gegeven en gepubliceerd in de online COTAN Documentatie, die Boom uitgevers namens het NIP uitgeeft. Noemt een aanbieder een COTAN-oordeel, zoek het daar dan na en kijk op welke versie van de test en de handleiding het betrekking heeft.

Het EFPA-model en verwante kaders

Het testbeoordelingsmodel van de EFPA is een gestructureerd beoordelingsformulier met toelichting voor beoordelaars, gebaseerd op criteria van de British Psychological Society, de Spaanse psychologenorganisatie en de COTAN. Versie 4.2.6 is van 2013; in augustus 2025 verscheen versie 5.0, een grondige herziening.

Het model beschrijft eerst het instrument en beoordeelt daarna onderbouwing en documentatie, testmateriaal, normen, betrouwbaarheid, validiteit, ondersteuning van eerlijk gebruik en de kwaliteit van automatisch gegenereerde rapporten, afgesloten met een eindoordeel. Validiteitsbewijs wordt geordend naar bron: testinhoud, interne structuur, samenhang met andere variabelen en overige bronnen.

Het model is bedoeld om per land te worden aangepast en door deskundige beoordelaars te worden toegepast; nationale verenigingen zoals de British Psychological Society baseren hun testbeoordelingen erop. De EFPA zegt er uitdrukkelijk bij dat een beoordeling met het model geen goedkeuring van de EFPA inhoudt en dat reclame dat niet mag suggereren. Een aanbieder die zijn test door de EFPA goedgekeurd noemt, heeft het model dus verkeerd begrepen.

DIN 33430 in Duitsland

DIN 33430, de Duitse norm voor geschiktheidsonderzoek in werkcontext, is voor het laatst herzien in 2016. De norm beoordeelt geen afzonderlijke tests, maar het hele proces: de opdracht verhelderen, de functie-eisen analyseren, methoden kiezen, afnemen en interpreteren, documenteren, en de kwalificaties van de betrokkenen. Een bijlage somt op wat de documentatie van een psychometrische test moet bevatten; ook buiten Duitsland een bruikbare checklist.

Checklist voor het lezen van een technische handleiding

Welk kader je ook gebruikt, het bewijs staat in de technische handleiding. Vraag die op voordat je koopt en lees hem met je eigen beslissing in gedachten.

• Beoogd gebruik: noemt de handleiding jouw toepassing, en zegt hij ook waarvoor de test niet bedoeld is?
• Normgroepen: omvang, samenstelling, land, taal en jaar van dataverzameling. Lijken ze op jouw kandidaten? Meer in normgroepen en normering.
• Betrouwbaarheid: welke soort, uit welke steekproef, en staat de standaardmeetfout erbij? De basis lees je in betrouwbaarheid en validiteit.
• Validiteit: is er bewijs voor de factorstructuur, voor samenhang met vergelijkbare tests en, bij selectie, voor samenhang met werkgerelateerde uitkomsten? Hoe groot waren de steekproeven?
• Fairness en taal: werken items en schalen in verschillende groepen op dezelfde manier, en is jouw taalversie bewerkt en onderzocht, niet alleen vertaald?
• Versie en onafhankelijke beoordeling: gaat het bewijs over de versie die jij gebruikt, en is er een beoordeling die je zelf kunt nazoeken?

Zo lees je dit. Een betrouwbaarheid van .86 is degelijk, maar voor een belangrijke beslissing over een individu ligt hij tussen de COTAN-ankerpunten .80 en .90. Kijk dus naar de standaardmeetfout en trek geen harde grens bij kleine scoreverschillen. De normgroep past bij financiële functies in Nederland, niet bij verkoopfuncties of een Duitse versie. Het criteriumonderzoek wijst de goede kant op, maar met 85 personen is het betrouwbaarheidsinterval breed. Conclusie: bruikbaar bij selectie naast andere informatie. Het besluit neemt een mens.

Als je zelf een test ontwikkelt of publiceert

Dezelfde criteria werken als ontwerpopdracht: definieer construct en beoogd gebruik, beproef items, en verzamel data over betrouwbaarheid, structuur en normen in de doelgroep, zoals beschreven bij testontwikkeling. De EFPA moedigt ontwikkelaars en uitgevers uitdrukkelijk aan om hun eigen tests met het model te beoordelen. Dat levert een gestructureerde zelfevaluatie op, geen beoordeling: een COTAN-oordeel geeft alleen de COTAN, via een eigen procedure.

Het Psychometrisch Lab van Match.hr beoordeelt tests voordat ze in de bibliotheek komen en kan met je samenwerken aan testvalidatie. De criteria van het Lab volgen de opbouw van de COTAN- en EFPA-beoordelingsmodellen. Het Lab is niet verbonden aan en niet erkend door deze organisaties, en een niveau als Gevalideerd is geen officieel oordeel. Wil je je instrument aan werkgevers aanbieden, dan begint je test publiceren met die beoordeling.