Jak ocenić jakość testu psychologicznego
Każdy dostawca testów opisuje swoje narzędzia jako rzetelne i trafne. Systemy oceny COTAN i EFPA pozwalają samodzielnie i w uporządkowany sposób sprawdzić to twierdzenie, kryterium po kryterium, zanim test zostanie wykorzystany przy decyzjach dotyczących ludzi.
W skrócie
- Test należy oceniać pod kątem konkretnego zastosowania: to, co wystarcza w rozwoju, może być niewystarczające w selekcji.
- COTAN ocenia testy według siedmiu odrębnych kryteriów, od podstaw konstrukcji testu po trafność kryterialną.
- EFPA Test Review Model to europejski model, na którym krajowe stowarzyszenia psychologów opierają swoje recenzje testów.
- Brak danej wartości w podręczniku sam w sobie jest ustaleniem: brak dowodów to nie to samo co dobre dowody.
- Oficjalne oceny wydaje wyłącznie sam podmiot oceniający. Warto zapytać o źródło i datę oraz samodzielnie je sprawdzić.
Dlaczego niezależne kryteria pomagają przy wyborze testu
Wybór testu na podstawie broszury jest ryzykowny. Materiały marketingowe zwykle przytaczają najlepszy współczynnik z najkorzystniejszej próby i przemilczają to, czego nigdy nie zbadano. Stały zestaw kryteriów zamienia ogólne wrażenie w konkretne pytania: do czego służy test, jak precyzyjne są wyniki, z kim porównuje się kandydatów i czy istnieją dowody, że wyniki wiążą się z tym, co istotne w pracy?
W Europie szeroko stosuje się dwa systemy. COTAN, komisja ds. testów holenderskiego stowarzyszenia psychologów (Nederlands Instituut van Psychologen, NIP), dokumentuje testy od 1959 r., a oceny publikuje od 1969 r. Test Review Model Europejskiej Federacji Stowarzyszeń Psychologów (EFPA) powstał częściowo na bazie systemu COTAN oraz kryteriów brytyjskich i hiszpańskich. Żaden z nich nie nadaje testowi uniwersalnego znaku jakości: oba pytają, czy dowody uzasadniają określone zastosowanie, wobec określonych osób, w określonym języku.
Siedem kryteriów COTAN w przystępnym ujęciu
COTAN ocenia każdy test według siedmiu kryteriów. Dwóch recenzentów ocenia test niezależnie, a każde kryterium otrzymuje odrębną ocenę; nie ma oceny łącznej. W wydaniu systemu oceny z 2010 r. każda ocena brzmi: niewystarczająca, wystarczająca lub dobra.
- Podstawy konstrukcji testu: czy przeznaczenie, grupy docelowe i konstrukt są opisane i osadzone w teorii? To, co test ma mierzyć, określa, jakich dowodów potrzebuje.
- Jakość materiałów testowych: czy pozycje, instrukcje i sposób obliczania wyników są wystandaryzowane, a treść wolna od pozycji, które mogłyby urazić określone grupy?
- Jakość podręcznika: czy zawiera to, co potrzebne do przeprowadzenia testu i prawidłowej interpretacji wyników, łącznie z ograniczeniami tej interpretacji?
- Normy: czy grupy normatywne są wystarczająco liczne, reprezentatywne dla osób, z którymi porównuje się kandydatów, i aktualne? Tabeli norm bez daty lub opisu grupy nie da się ocenić.
- Rzetelność: jak precyzyjne są wyniki, według jakiego rodzaju badania i na jakiej próbie?
- Trafność teoretyczna: czy istnieją dowody, że test mierzy to, co deklaruje, na przykład ze struktury czynnikowej i związków z innymi miarami?
- Trafność kryterialna: czy wyniki wiążą się z rezultatami, takimi jak efektywność zawodowa, wyniki szkoleń czy rotacja, i jak dobrze zmierzono ten rezultat?
Ocena niewystarczająca może oznaczać, że dowody były słabe albo że w ogóle ich nie przedstawiono. COTAN traktuje obie sytuacje jednakowo, ponieważ ciężar dowodu spoczywa na autorze testu. Dla użytkownika różnica może mieć znaczenie: nowy test z niewielką ilością danych to nie to samo co test, który nie spełnił wymagań. W każdym przypadku to sygnał ostrzegawczy, a jeśli mimo to korzysta się z testu, trzeba umieć wyjaśnić dlaczego.
Oceny COTAN wydaje wyłącznie sam COTAN, a publikuje się je w internetowej COTAN Documentatie, wydawanej przez Boom uitgevers w imieniu NIP. Jeśli dostawca powołuje się na ocenę COTAN, należy ją tam sprawdzić i ustalić, której wersji testu i podręcznika dotyczy.
EFPA Test Review Model i pokrewne systemy
Test Review Model EFPA to ustrukturyzowany formularz recenzji z objaśnieniami dla recenzentów, oparty na kryteriach British Psychological Society, hiszpańskiego stowarzyszenia psychologów i COTAN. Wersja 4.2.6 pochodzi z 2013 r.; wersja 5.0, będąca gruntowną rewizją, ukazała się w sierpniu 2025 r.
Model najpierw opisuje narzędzie, a następnie ocenia uzasadnienie i dokumentację, materiały testowe, normy, rzetelność, trafność, wsparcie dla bezstronnego stosowania oraz jakość raportów generowanych cyfrowo, kończąc oceną ogólną. Dowody trafności są pogrupowane według źródła: treść testu, struktura wewnętrzna, związki z innymi zmiennymi i inne źródła.
Model ma być dostosowywany do rozwiązań krajowych i stosowany przez recenzentów-ekspertów; na nim swoje recenzje testów oparły m.in. takie stowarzyszenia jak British Psychological Society. EFPA zaznacza, że oceny wydane z użyciem modelu nie oznaczają poparcia testu przez EFPA, a reklama nie może sugerować inaczej. Dostawca, który nazywa swój test „zatwierdzonym przez EFPA”, źle zrozumiał model.
DIN 33430 w Niemczech
DIN 33430, niemiecka norma dotycząca diagnozy przydatności zawodowej, była ostatnio zrewidowana w 2016 r. Nie ocenia pojedynczych testów, lecz obejmuje cały proces: doprecyzowanie zlecenia, analizę wymagań stanowiska, dobór metod, przeprowadzenie badania i interpretację, dokumentację oraz kwalifikacje zaangażowanych osób. Załącznik określa, co powinna zawierać dokumentacja testu psychometrycznego, co czyni go użyteczną listą kontrolną także poza Niemcami.
Lista kontrolna do lektury podręcznika technicznego
Niezależnie od wybranego systemu dowody znajdują się w podręczniku technicznym. Warto poprosić o niego przed zakupem i czytać go z myślą o własnej decyzji.
- Przeznaczenie: czy podręcznik wymienia Państwa zastosowanie i czy mówi, do czego test nie służy?
- Grupy normatywne: liczebność, skład, kraj, język i rok zebrania danych. Czy przypominają Państwa kandydatów? Zob. jak działają grupy normatywne.
- Rzetelność: jaki rodzaj, na jakiej próbie i czy podano standardowy błąd pomiaru? Podstawy opisano w artykule rzetelność i trafność.
- Trafność: czy istnieją dowody dotyczące struktury czynnikowej, związków z porównywalnymi testami oraz, w przypadku selekcji, związku z rezultatami zawodowymi? Jak liczne były próby?
- Bezstronność i języki: czy pozycje i skale działają tak samo w różnych grupach i czy Państwa wersja językowa została zaadaptowana i zbadana, a nie tylko przetłumaczona?
- Wersja i niezależna recenzja: czy dowody dotyczą wersji, która będzie używana, i czy istnieje recenzja, którą można samodzielnie sprawdzić?
Numerical Reasoning NR-2 (test fikcyjny). Przeznaczenie: selekcja i rozwój na stanowiskach dla osób z wyższym wykształceniem. Grupa normatywna: 1240 kandydatów na stanowiska finansowe i administracyjne w Holandii, dane zebrane w latach 2021–2022, wersja niderlandzka. Rzetelność: ω = 0,86 (n = 1240); test–retest po czterech tygodniach r = 0,79 (n = 112). Trafność teoretyczna: potwierdzony model jednoczynnikowy; korelacja z uznanym testem numerycznym r = 0,68 (n = 210). Trafność kryterialna: r = 0,24 z ocenami przełożonych po sześciu miesiącach (n = 85).
Jak to odczytać. Rzetelność 0,86 jest solidna, ale w przypadku ważnej decyzji dotyczącej jednostki mieści się między punktami orientacyjnymi COTAN wynoszącymi 0,80 i 0,90, dlatego warto spojrzeć na standardowy błąd pomiaru i unikać sztywnych progów odcięcia przy niewielkich różnicach wyników. Grupa normatywna pasuje do stanowisk finansowych w Holandii, a nie do stanowisk sprzedażowych czy wersji niemieckiej. Badanie kryterialne wskazuje właściwy kierunek, ale przy 85 osobach przedział ufności jest szeroki. Wniosek: test nadaje się do selekcji obok innych informacji, a decyzję podejmuje człowiek.
Gdy samodzielnie tworzą lub publikują Państwo test
Te same kryteria sprawdzają się jako założenia projektowe: zdefiniowanie konstruktu i przeznaczenia, wypróbowanie pozycji oraz zebranie danych o rzetelności, strukturze i normach w populacji docelowej, jak opisano na stronie Tworzenie testów. EFPA wprost zachęca autorów i wydawców do oceny własnych testów za pomocą swojego modelu. Daje to ustrukturyzowaną samoocenę, a nie recenzję: ocenę COTAN wydaje wyłącznie COTAN, w ramach własnej procedury.
Laboratorium Psychometryczne Match.hr weryfikuje testy przed ich umieszczeniem na platformie i może współpracować z Państwem przy walidacji testów. Kryteria Laboratorium odpowiadają strukturze modeli oceny COTAN i EFPA. Laboratorium nie jest powiązane z żadną z tych organizacji ani przez nie popierane, a poziom oceny, taki jak Zwalidowany, nie jest oficjalną oceną. Jeśli chcą Państwo oferować swoje narzędzie pracodawcom, publikacja testu zaczyna się od takiej weryfikacji.
Źródła
- Evers, A., Lucassen, W., Meijer, R. & Sijtsma, K. (2010). COTAN Beoordelingssysteem voor de Kwaliteit van Tests. Nederlands Instituut van Psychologen.
- European Federation of Psychologists' Associations (2025). Model for the Review, Description and Evaluation of Psychological and Educational Tests (Test Review Model), version 5.0.
- Evers, A., Muñiz, J., Hagemeister, C., Høstmælingen, A., Lindley, P., Sjöberg, A. & Bartram, D. (2013). Assessing the quality of tests: Revision of the EFPA review model. Psicothema, 25(3), 283–291.
- DIN 33430:2016-07. Anforderungen an berufsbezogene Eignungsdiagnostik.
- COTAN Documentatie, internetowa baza ocen testów COTAN (Boom uitgevers w imieniu NIP).