Rzetelność i trafność: co powinni wiedzieć specjaliści HR
Dwa słowa, które pojawiają się w każdym podręczniku testu i w każdej prezentacji dostawcy. Ten przewodnik wyjaśnia, co oznaczają w praktyce, na jakie wartości zwracać uwagę i o co zapytać, zanim test zostanie wykorzystany przy decyzjach dotyczących ludzi.
W skrócie
- Rzetelność dotyczy spójności: czy ta sama osoba uzyskałaby ponownie mniej więcej ten sam wynik?
- Trafność dotyczy znaczenia: czy wynik uzasadnia wniosek, który chce się wyciągnąć, dla tego stanowiska, tej grupy i tego języka?
- Każdy wynik to przedział, a nie punkt. Jego szerokość określa standardowy błąd pomiaru.
- Współczynniki trafności w selekcji to skromne wartości, które mimo to mają znaczenie, a dobrze dobrane metody wzajemnie się uzupełniają.
- Warto pytać o dowody stojące za każdą wartością: próbę, populację, wersję językową i przeznaczenie.
Dlaczego te dwa słowa mają znaczenie przy wyborze testu
Test dostarcza liczby, która stanowi podstawę decyzji dotyczącej człowieka. Liczba ta jest użyteczna tylko wtedy, gdy spełnione są dwa warunki. Musi być spójna: ta sama osoba zbadana dwukrotnie w tych samych warunkach powinna uzyskać mniej więcej ten sam rezultat. I musi coś znaczyć dla decyzji: wyższy wynik powinien iść w parze z większym natężeniem tego, co istotne na danym stanowisku.
Pierwszy warunek to rzetelność, drugi to trafność. Test może być bardzo rzetelny, a mimo to mierzyć coś, co nie ma znaczenia dla pracy. Odwrotnie to nie działa: test o niespójnych wynikach nie może też niczego spójnie przewidywać. Rzetelność jest warunkiem koniecznym trafności, a nie jej zamiennikiem.
Rzetelność: jak spójny jest wynik?
Rzetelność wyraża się współczynnikiem od 0 do 1. Istnieje kilka jej rodzajów, a każdy odpowiada na inne pytanie.
Rzetelność test–retest
Te same osoby rozwiązują test dwukrotnie. Wysoka korelacja oznacza, że wyniki są stabilne w czasie, co ma znaczenie w przypadku cech, które z założenia są stałe, takich jak osobowość. Istotny jest odstęp czasu: zbyt krótki sprawia, że ludzie pamiętają swoje odpowiedzi, zbyt długi, że wyniki mieszają się z rzeczywistą zmianą.
Zgodność wewnętrzna
Czy pozycje danej skali mierzą to samo? Typowym wskaźnikiem jest alfa Cronbacha; omega McDonalda jest często bardziej odpowiednia, gdy pozycje w różnym stopniu odzwierciedlają mierzony konstrukt. Często przytaczana reguła mówi, że wartość około 0,70 może wystarczyć w badaniach na poziomie grupowym, natomiast decyzje dotyczące jednostek wymagają wyraźnie wyższych wartości. Modele oceny testów wyznaczają własne progi w zależności od stawki; zob. jak działają kryteria jakości testów.
Zgodność między oceniającymi
Gdy wynik wyznaczają oceniający, a nie klucz, jak w rozmowach kwalifikacyjnych i ćwiczeniach assessment center, pytanie brzmi, czy różni oceniający dochodzą do tej samej oceny. Podaje się ją jako współczynnik korelacji wewnątrzklasowej lub kappę Cohena. Ustrukturyzowane pytania, behawioralne skale ocen i szkolenie oceniających ją podnoszą.
Standardowy błąd pomiaru
Współczynnik rzetelności opisuje test w odniesieniu do grupy. W przypadku pojedynczej osoby bardziej użyteczny jest standardowy błąd pomiaru (SEM): odchylenie standardowe skali pomnożone przez pierwiastek kwadratowy z różnicy między jedynką a rzetelnością. Pokazuje, jak daleko wynik otrzymany może leżeć od wyniku, jaki osoba uzyskałaby bez błędu pomiaru.
Skala osobowości posługuje się tenami (średnia 50, odchylenie standardowe 10) i ma rzetelność 0,84 w odpowiedniej grupie normatywnej. SEM wynosi 10 × √(1 − 0,84) = 4 punkty, a przedział 95-procentowy rozciąga się mniej więcej na dwa SEM w każdą stronę od wyniku. Kandydat A uzyskuje 56, czyli mniej więcej od 48 do 64; kandydatka B uzyskuje 52, czyli mniej więcej od 44 do 60. Przedziały niemal całkowicie się pokrywają: różnica 4 punktów mówi bardzo niewiele i nie powinna przesądzać o kolejności w rankingu.
Trafność: czy wynik znaczy to, czego potrzebujemy?
Trafność jest ważniejsza z tych dwóch właściwości. Aktualne standardy zawodowe nie traktują jej jako stałej cechy testu, lecz jako stopień, w jakim dowody uzasadniają określoną interpretację wyników w określonym zastosowaniu. Dlatego użyteczne pytanie nie brzmi, czy test jest trafny, lecz: trafny do czego, dla kogo i w jakim języku?
Trafność treściowa
Czy pozycje testu obejmują to, co istotne na danym stanowisku, i tylko to? Zwykle oceniają to eksperci merytoryczni, na przykład porównując zadania w teście umiejętności z analizą stanowiska.
Trafność teoretyczna
Czy test mierzy to, co deklaruje? Dowodami są m.in. struktura czynnikowa, korelacje z miarami podobnymi i odmiennymi oraz to, czy struktura utrzymuje się w każdej wersji językowej. Bez nich nie wiadomo naprawdę, co kryje się za nazwą skali.
Trafność kryterialna i prognostyczna
Czy wyniki wiążą się z istotnymi rezultatami, takimi jak efektywność zawodowa, wyniki szkoleń czy pozostanie w organizacji? W schemacie prognostycznym ludzi bada się w momencie zatrudnienia, a rezultat mierzy później. W schemacie równoczesnym bada się obecnych pracowników, co jest szybsze, ale ta grupa przeszła już selekcję, co zwykle obniża korelacje. Znaczenie ma też kryterium: niejasna lub niespójna ocena efektywności ogranicza to, jak wysoki może być jakikolwiek współczynnik trafności.
Ile to dużo? Jak czytać współczynniki trafności
Trafność kryterialną zwykle podaje się jako korelację, a w selekcji personelu korelacje te są umiarkowane. To normalne: efektywność zależy od wielu czynników, których test nie uchwyci, od zespołu i przełożonego po życie poza pracą. Korelacja rzędu 0,30 to w tej dziedzinie znaczący wynik, a nie słaby.
Sackett, Zhang, Berry i Lievens (2022) ponownie przeanalizowali dowody metaanalityczne i doszli do ostrożniejszych szacunków niż starsze, wciąż często przytaczane wartości, głównie dlatego, że uznali wcześniejsze korekty ograniczenia zakresu za zbyt duże. Wśród ich szacunków:
- Ustrukturyzowane rozmowy kwalifikacyjne: około 0,42
- Ogólne zdolności poznawcze: około 0,31
- Sumienność: około 0,19
Wynikają z tego trzy wnioski. Są to średnie z wielu badań i stanowisk, skorygowane o artefakty statystyczne, więc konkretny test w danym kontekście może wypaść lepiej lub gorzej. Wszystkie wartości są wyraźnie wyższe od zera: konsekwentnie stosowana w wielu decyzjach rekrutacyjnych nawet umiarkowana trafność poprawia przeciętny rezultat w porównaniu z nieustrukturyzowaną oceną. A metody mierzące różne rzeczy wnoszą dodatkowe informacje. Zdolności poznawcze i sumienność są ze sobą tylko słabo powiązane, więc ich połączenie zwykle przewiduje lepiej niż każda z nich osobno. To samo rozumowanie przemawia za stosowaniem testów zdolności poznawczych obok ustrukturyzowanej rozmowy, a nie zamiast niej.
Lektura podręcznika technicznego: pytania, które warto zadać
Wartość w broszurze niewiele znaczy bez kontekstu, a dobry podręcznik techniczny ten kontekst zapewnia. Niezależnie od tego, czy czyta się podręcznik, czy rozmawia z dostawcą, pomocne są następujące pytania.
- Jaki rodzaj rzetelności podano i czy podano standardowy błąd pomiaru?
- Jak liczna była próba i kto do niej należał: kraj, język, poziom stanowiska? Współczynniki uzyskane na kilkudziesięciu osobach są niestabilne.
- Której wersji językowej dotyczą dowody? Tłumaczenie wymaga własnych danych, zanim założy się, że działa tak samo.
- Co było kryterium w badaniach trafności, jak je mierzono i czy schemat był prognostyczny, czy równoczesny?
- Do jakiego zastosowania odnoszą się dowody: selekcji, rozwoju, określonej grupy stanowisk?
- Jak aktualne są dowody i czego według podręcznika jeszcze nie zbadano?
Stwierdzenie „test jest zwalidowany”, bez informacji, do czego, na jakiej grupie i z jakimi wartościami, nie odpowiada na pytanie. Niepełne dowody są dopuszczalne, zwłaszcza w przypadku nowych testów, o ile mówi się o tym otwarcie. W Match.hr etykieta psychometryczna każdego testu pokazuje rzetelność wraz z próbą, na której ją oszacowano, przeznaczenie testu i przeanalizowane wersje językowe.
Związek z normami i bezstronnością
Wynik da się zinterpretować dopiero w odniesieniu do grupy porównawczej, więc kolejne pytanie brzmi, która grupa normatywna pasuje do kandydatów i jak jest aktualna; zob. grupy normatywne. Test może też przewidywać dobrze przeciętnie, a jednocześnie działać inaczej w niektórych grupach, na przykład gdy zadanie zależy od języka lub wiedzy kulturowej, które nie należą do tego, co powinien mierzyć. Nasza strona Bezstronność testów opisuje, jak się to bada.
Spójne wyniki odczytywane jako przedziały, dowody dla konkretnego zastosowania, odpowiednia grupa normatywna oraz analizy bezstronności tam, gdzie prawo na nie pozwala: razem czynią z testu solidną podstawę przemyślanej decyzji podejmowanej przez człowieka, a nie jej zamiennik.
Źródła
- American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
- Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.