Grupy normatywne: jak interpretować wynik testu
Wynik 27 na 40 niewiele mówi, dopóki nie wiadomo, z kim się go porównuje. Ten przewodnik wyjaśnia, czym są grupy normatywne i skale norm oraz jak odczytywać wynik testu, nie wyciągając z niego zbyt daleko idących wniosków.
W skrócie
- Wynik surowy nabiera znaczenia dopiero w porównaniu z jasno opisaną grupą normatywną.
- Centyle, steny, staniny i teny wyrażają tę samą pozycję na różnych skalach; odstępy między centylami nie są równe.
- Właściwa grupa normatywna odpowiada poziomowi, krajowi, językowi i warunkom badania osób, które są oceniane.
- Wielkość, skład, datę i sposób zebrania danych normatywnych należy sprawdzić w podręczniku technicznym.
- W selekcji odrębne normy dla płci lub innych grup chronionych zwykle nie są rozwiązaniem; zamiast tego należy badać stronniczość.
Wynik surowy wymaga grupy odniesienia
Wynik surowy to liczba poprawnie rozwiązanych zadań w teście zdolności lub suma odpowiedzi na skali osobowości. Sam w sobie niewiele mówi: 27 na 40 może być mocnym wynikiem w trudnym teście i przeciętnym w łatwym, a skala osobowości w ogóle nie ma „poprawnej” sumy.
Normy przekładają wynik surowy na pozycję w grupie odniesienia, czyli wśród osób, które wykonały ten sam test w porównywalnych warunkach. Ta pozycja jest względna. Mówi, jak ktoś wypada na tle tej grupy, a nie czy nadaje się na dane stanowisko. Przydatność zależy od wymagań stanowiska i od dowodów, że test przewiduje to, co istotne (zob. rzetelność i trafność).
Skale norm i zależności między nimi
Większość skal norm wyraża to samo: o ile odchyleń standardowych (SD) wynik leży powyżej lub poniżej średniej grupy normatywnej. Różnią się średnią, rozrzutem i dokładnością.
- Wyniki z: średnia 0, SD 1. Podstawa pozostałych skal, rzadko podawana w raportach.
- Teny (wyniki T): średnia 50, SD 10. Około dwóch trzecich grupy normatywnej mieści się między 40 a 60.
- Steny: od 1 do 10, średnia 5,5, SD 2. Powszechne w raportach z kwestionariuszy osobowości.
- Staniny: od 1 do 9, średnia 5, SD 2. Powszechne w testach zdolności.
- Centyle: odsetek grupy normatywnej, który uzyskał niższy wynik. Intuicyjne, ale odstępy między nimi nie są równe.
Ostrożnie z centylami
Centyle rozciągają różnice w środku rozkładu i ściskają je na krańcach. Przejście z 50. do 60. centyla wymaga niewielkiej różnicy w wyniku surowym, a przejście z 90. do 99. centyla dużej. Dlatego nie należy uśredniać centyli. Nawet na mniej dokładnych skalach, takich jak steny, różnica jednego punktu między dwojgiem kandydatów często mieści się w granicach błędu pomiaru.
Jak wyjaśnić wynik menedżerowi
Najłatwiej zwykle posłużyć się centylami: na 100 osób w tej grupie porównawczej około 80 uzyskało niższy wynik. W tym samym zdaniu warto nazwać grupę i wspomnieć o marginesie: wynik jest oszacowaniem, a przedział ufności w raporcie pokazuje, gdzie prawdopodobnie leży wynik prawdziwy. W przypadku skal osobowości należy dodać, że wysoki czy niski wynik nie jest sam w sobie dobry ani zły.
Fikcyjny test rozumowania numerycznego ma 40 zadań, a kandydat rozwiązuje poprawnie 27. Na tle normy dla ogółu pracujących to 80. centyl (ten 58, sten 7, stanin 7). Na tle normy dla kandydatów z wyższym wykształceniem ten sam wynik surowy to 55. centyl (ten 51, sten 6, stanin 5). W porównaniu z szeroką populacją kandydat jest wyraźnie powyżej przeciętnej; wśród kandydatów z wyższym wykształceniem blisko przeciętnej. Które porównanie jest właściwe, zależy od tego, z kim kandydat konkuruje. Wartości są przykładowe i zakładają rozkład normalny.
Wybór właściwej grupy normatywnej
Należy wybrać grupę, z którą rzeczywiście chce się porównywać ludzi.
- Populacja ogólna lub ogół pracujących: przydatne w szerokim wstępnym przesiewie i w rozwoju, ale w selekcji na stanowiska wyższego szczebla sprawiają, że niemal każdy wypada powyżej przeciętnej.
- Normy według wykształcenia lub poziomu stanowiska: osoby na podobnym poziomie, na przykład stanowiska wymagające wykształcenia zawodowego, wyższego lub stanowiska menedżerskie. Zwykle lepszy punkt odniesienia w selekcji.
- Normy dla kandydatów do pracy: zebrane w rzeczywistych procedurach selekcyjnych. W kwestionariuszach osobowości kandydaci zwykle opisują się korzystniej niż osoby, dla których nic nie jest stawką.
- Normy dla pracowników lub organizacji: przydatne w rozwoju. W selekcji przenoszą wcześniejsze decyzje o zatrudnieniu na nowe decyzje i często są niewielkie.
Kraj i język
Normy należą do konkretnej wersji testu. Tłumaczenie może zmienić sposób działania zadań, a style odpowiadania różnią się między krajami, więc norma jednej wersji językowej nie przenosi się automatycznie na inną. Jeśli kandydaci rozwiązują różne wersje językowe, należy sprawdzić, czy podręcznik podaje normę dla każdej wersji i dowody, że wersje mierzą to samo.
Skutki niewłaściwej grupy normatywnej
Zbyt szeroka grupa zawyża wyniki; zbyt wyselekcjonowana sprawia, że dobrzy kandydaci wyglądają przeciętnie. Jeszcze gorsze jest mieszanie norm w ramach jednej procedury, bo kandydatów porównywanych z różnymi grupami nie da się już porównać ze sobą. Należy stosować jedną grupę normatywną w danej procedurze i odnotować, którą.
Jak dobra jest sama norma?
Norma to próba, ze wszystkimi słabościami każdej próby. Zanim się na niej oprze, warto sprawdzić następujące kwestie.
- Wielkość: nie ma jednego minimum. Kilkaset osób na grupę normatywną to częsty punkt wyjścia; stabilne skrajne centyle wymagają więcej.
- Skład: czy grupa przypomina osoby, które są oceniane, pod względem poziomu, branży, regionu, wieku i płci? Duża, ale niereprezentatywna próba nie jest lepsza od mniejszej, dobrze dobranej.
- Aktualność: populacje i nawyki związane z rozwiązywaniem testów się zmieniają. Warto wiedzieć, kiedy zebrano dane, i zachować ostrożność wobec norm sprzed wielu lat.
- Sposób zebrania: kandydaci do pracy, pracownicy czy ochotnicy i studenci? Stawka, nadzór i urządzenie wpływają na wyniki.
Dobry podręcznik techniczny podaje wszystkie te informacje, a także statystyki opisowe, sposób przeliczenia wyników surowych i standardowy błąd pomiaru. Systemy oceny testów, takie jak systemy COTAN i EFPA, oceniają normy jako odrębne kryterium; przewodnik po kryteriach jakości testów wyjaśnia, jak to wygląda. W Match.hr przy każdym teście podano liczebność prób normatywnych i datę ostatniego przeliczenia, a każdy raport wskazuje zastosowaną grupę normatywną (więcej na stronie Normalizacja).
Normy a bezstronność
Grupy mogą różnić się średnimi wynikami. Kuszącą odpowiedzią jest osobna norma dla każdej grupy, tak by kobiety porównywać tylko z kobietami, a starszych kandydatów tylko ze starszymi kandydatami. W przypadku wersji językowych odrębne normy są często konieczne. W przypadku cech takich jak płeć, wiek czy pochodzenie etniczne w selekcji zwykle nie są rozwiązaniem.
- Ten sam wynik surowy prowadziłby do różnych wyników znormalizowanych w zależności od grupy, do której ktoś należy, co może oznaczać nierówne traktowanie.
- Ukrywają różnicę, zamiast ją wyjaśniać. Różnica może wynikać ze stronniczych zadań, z rzeczywistej różnicy w mierzonej cesze lub ze sposobu wykorzystania testu, a każda z tych przyczyn wymaga innej reakcji.
- Cechy takie jak pochodzenie etniczne należą do szczególnych kategorii danych osobowych w rozumieniu RODO i często w ogóle nie mogą być zbierane w procesie selekcji.
Lepszą drogą jest bezpośrednie badanie stronniczości: zróżnicowanego funkcjonowania pozycji (DIF), niezmienniczości pomiarowej między grupami i wersjami językowymi oraz niekorzystnego wpływu (adverse impact) przy stosowanych progach odcięcia. Następnie należy sprawdzić, czy to, co mierzy test, ma znaczenie dla stanowiska. Strona Bezstronność testów wyjaśnia te analizy.
Lista kontrolna przed lekturą raportu
- Jaka grupa normatywna jest wskazana i czy odpowiada poziomowi, krajowi i językowi stanowiska?
- Jak liczna jest grupa normatywna, w jaki sposób i kiedy zebrano dane?
- Czy kandydat rozwiązywał tę samą wersję, w tym samym języku i przy takim samym nadzorze jak grupa normatywna?
- Czy różnice między kandydatami są większe niż przedział ufności?
- Czy wszyscy kandydaci w tej procedurze są porównywani z tą samą normą?
- W przypadku skal osobowości: czy wysoki i niski wynik są odczytywane jako pozycje, a nie jako dobre i złe?
- Co jeszcze wiadomo? Wynik testu stoi obok rozmów, próbek pracy i referencji, a decyzję podejmuje człowiek.
Jeśli raport lub podręcznik nie odpowiada na te pytania, warto zwrócić się do wydawcy, zanim oprze się decyzję na wynikach.
Źródła
- American Educational Research Association, American Psychological Association i National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
- International Test Commission (2001). International Guidelines for Test Use. International Journal of Testing, 1(2), 93–114.