Grupy normatywne: jak interpretować wynik testu

Wynik 27 na 40 niewiele mówi, dopóki nie wiadomo, z kim się go porównuje. Ten przewodnik wyjaśnia, czym są grupy normatywne i skale norm oraz jak odczytywać wynik testu, nie wyciągając z niego zbyt daleko idących wniosków.

W skrócie

  • Wynik surowy nabiera znaczenia dopiero w porównaniu z jasno opisaną grupą normatywną.
  • Centyle, steny, staniny i teny wyrażają tę samą pozycję na różnych skalach; odstępy między centylami nie są równe.
  • Właściwa grupa normatywna odpowiada poziomowi, krajowi, językowi i warunkom badania osób, które są oceniane.
  • Wielkość, skład, datę i sposób zebrania danych normatywnych należy sprawdzić w podręczniku technicznym.
  • W selekcji odrębne normy dla płci lub innych grup chronionych zwykle nie są rozwiązaniem; zamiast tego należy badać stronniczość.

Wynik surowy wymaga grupy odniesienia

Wynik surowy to liczba poprawnie rozwiązanych zadań w teście zdolności lub suma odpowiedzi na skali osobowości. Sam w sobie niewiele mówi: 27 na 40 może być mocnym wynikiem w trudnym teście i przeciętnym w łatwym, a skala osobowości w ogóle nie ma „poprawnej” sumy.

Normy przekładają wynik surowy na pozycję w grupie odniesienia, czyli wśród osób, które wykonały ten sam test w porównywalnych warunkach. Ta pozycja jest względna. Mówi, jak ktoś wypada na tle tej grupy, a nie czy nadaje się na dane stanowisko. Przydatność zależy od wymagań stanowiska i od dowodów, że test przewiduje to, co istotne (zob. rzetelność i trafność).

Skale norm i zależności między nimi

Większość skal norm wyraża to samo: o ile odchyleń standardowych (SD) wynik leży powyżej lub poniżej średniej grupy normatywnej. Różnią się średnią, rozrzutem i dokładnością.

  • Wyniki z: średnia 0, SD 1. Podstawa pozostałych skal, rzadko podawana w raportach.
  • Teny (wyniki T): średnia 50, SD 10. Około dwóch trzecich grupy normatywnej mieści się między 40 a 60.
  • Steny: od 1 do 10, średnia 5,5, SD 2. Powszechne w raportach z kwestionariuszy osobowości.
  • Staniny: od 1 do 9, średnia 5, SD 2. Powszechne w testach zdolności.
  • Centyle: odsetek grupy normatywnej, który uzyskał niższy wynik. Intuicyjne, ale odstępy między nimi nie są równe.

Ostrożnie z centylami

Centyle rozciągają różnice w środku rozkładu i ściskają je na krańcach. Przejście z 50. do 60. centyla wymaga niewielkiej różnicy w wyniku surowym, a przejście z 90. do 99. centyla dużej. Dlatego nie należy uśredniać centyli. Nawet na mniej dokładnych skalach, takich jak steny, różnica jednego punktu między dwojgiem kandydatów często mieści się w granicach błędu pomiaru.

Jak wyjaśnić wynik menedżerowi

Najłatwiej zwykle posłużyć się centylami: na 100 osób w tej grupie porównawczej około 80 uzyskało niższy wynik. W tym samym zdaniu warto nazwać grupę i wspomnieć o marginesie: wynik jest oszacowaniem, a przedział ufności w raporcie pokazuje, gdzie prawdopodobnie leży wynik prawdziwy. W przypadku skal osobowości należy dodać, że wysoki czy niski wynik nie jest sam w sobie dobry ani zły.

Przykład Jeden wynik surowy, dwie grupy normatywne

Fikcyjny test rozumowania numerycznego ma 40 zadań, a kandydat rozwiązuje poprawnie 27. Na tle normy dla ogółu pracujących to 80. centyl (ten 58, sten 7, stanin 7). Na tle normy dla kandydatów z wyższym wykształceniem ten sam wynik surowy to 55. centyl (ten 51, sten 6, stanin 5). W porównaniu z szeroką populacją kandydat jest wyraźnie powyżej przeciętnej; wśród kandydatów z wyższym wykształceniem blisko przeciętnej. Które porównanie jest właściwe, zależy od tego, z kim kandydat konkuruje. Wartości są przykładowe i zakładają rozkład normalny.

Wybór właściwej grupy normatywnej

Należy wybrać grupę, z którą rzeczywiście chce się porównywać ludzi.

  • Populacja ogólna lub ogół pracujących: przydatne w szerokim wstępnym przesiewie i w rozwoju, ale w selekcji na stanowiska wyższego szczebla sprawiają, że niemal każdy wypada powyżej przeciętnej.
  • Normy według wykształcenia lub poziomu stanowiska: osoby na podobnym poziomie, na przykład stanowiska wymagające wykształcenia zawodowego, wyższego lub stanowiska menedżerskie. Zwykle lepszy punkt odniesienia w selekcji.
  • Normy dla kandydatów do pracy: zebrane w rzeczywistych procedurach selekcyjnych. W kwestionariuszach osobowości kandydaci zwykle opisują się korzystniej niż osoby, dla których nic nie jest stawką.
  • Normy dla pracowników lub organizacji: przydatne w rozwoju. W selekcji przenoszą wcześniejsze decyzje o zatrudnieniu na nowe decyzje i często są niewielkie.

Kraj i język

Normy należą do konkretnej wersji testu. Tłumaczenie może zmienić sposób działania zadań, a style odpowiadania różnią się między krajami, więc norma jednej wersji językowej nie przenosi się automatycznie na inną. Jeśli kandydaci rozwiązują różne wersje językowe, należy sprawdzić, czy podręcznik podaje normę dla każdej wersji i dowody, że wersje mierzą to samo.

Skutki niewłaściwej grupy normatywnej

Zbyt szeroka grupa zawyża wyniki; zbyt wyselekcjonowana sprawia, że dobrzy kandydaci wyglądają przeciętnie. Jeszcze gorsze jest mieszanie norm w ramach jednej procedury, bo kandydatów porównywanych z różnymi grupami nie da się już porównać ze sobą. Należy stosować jedną grupę normatywną w danej procedurze i odnotować, którą.

Jak dobra jest sama norma?

Norma to próba, ze wszystkimi słabościami każdej próby. Zanim się na niej oprze, warto sprawdzić następujące kwestie.

  • Wielkość: nie ma jednego minimum. Kilkaset osób na grupę normatywną to częsty punkt wyjścia; stabilne skrajne centyle wymagają więcej.
  • Skład: czy grupa przypomina osoby, które są oceniane, pod względem poziomu, branży, regionu, wieku i płci? Duża, ale niereprezentatywna próba nie jest lepsza od mniejszej, dobrze dobranej.
  • Aktualność: populacje i nawyki związane z rozwiązywaniem testów się zmieniają. Warto wiedzieć, kiedy zebrano dane, i zachować ostrożność wobec norm sprzed wielu lat.
  • Sposób zebrania: kandydaci do pracy, pracownicy czy ochotnicy i studenci? Stawka, nadzór i urządzenie wpływają na wyniki.

Dobry podręcznik techniczny podaje wszystkie te informacje, a także statystyki opisowe, sposób przeliczenia wyników surowych i standardowy błąd pomiaru. Systemy oceny testów, takie jak systemy COTAN i EFPA, oceniają normy jako odrębne kryterium; przewodnik po kryteriach jakości testów wyjaśnia, jak to wygląda. W Match.hr przy każdym teście podano liczebność prób normatywnych i datę ostatniego przeliczenia, a każdy raport wskazuje zastosowaną grupę normatywną (więcej na stronie Normalizacja).

Normy a bezstronność

Grupy mogą różnić się średnimi wynikami. Kuszącą odpowiedzią jest osobna norma dla każdej grupy, tak by kobiety porównywać tylko z kobietami, a starszych kandydatów tylko ze starszymi kandydatami. W przypadku wersji językowych odrębne normy są często konieczne. W przypadku cech takich jak płeć, wiek czy pochodzenie etniczne w selekcji zwykle nie są rozwiązaniem.

  • Ten sam wynik surowy prowadziłby do różnych wyników znormalizowanych w zależności od grupy, do której ktoś należy, co może oznaczać nierówne traktowanie.
  • Ukrywają różnicę, zamiast ją wyjaśniać. Różnica może wynikać ze stronniczych zadań, z rzeczywistej różnicy w mierzonej cesze lub ze sposobu wykorzystania testu, a każda z tych przyczyn wymaga innej reakcji.
  • Cechy takie jak pochodzenie etniczne należą do szczególnych kategorii danych osobowych w rozumieniu RODO i często w ogóle nie mogą być zbierane w procesie selekcji.

Lepszą drogą jest bezpośrednie badanie stronniczości: zróżnicowanego funkcjonowania pozycji (DIF), niezmienniczości pomiarowej między grupami i wersjami językowymi oraz niekorzystnego wpływu (adverse impact) przy stosowanych progach odcięcia. Następnie należy sprawdzić, czy to, co mierzy test, ma znaczenie dla stanowiska. Strona Bezstronność testów wyjaśnia te analizy.

Lista kontrolna przed lekturą raportu

  • Jaka grupa normatywna jest wskazana i czy odpowiada poziomowi, krajowi i językowi stanowiska?
  • Jak liczna jest grupa normatywna, w jaki sposób i kiedy zebrano dane?
  • Czy kandydat rozwiązywał tę samą wersję, w tym samym języku i przy takim samym nadzorze jak grupa normatywna?
  • Czy różnice między kandydatami są większe niż przedział ufności?
  • Czy wszyscy kandydaci w tej procedurze są porównywani z tą samą normą?
  • W przypadku skal osobowości: czy wysoki i niski wynik są odczytywane jako pozycje, a nie jako dobre i złe?
  • Co jeszcze wiadomo? Wynik testu stoi obok rozmów, próbek pracy i referencji, a decyzję podejmuje człowiek.

Jeśli raport lub podręcznik nie odpowiada na te pytania, warto zwrócić się do wydawcy, zanim oprze się decyzję na wynikach.

Źródła

  • American Educational Research Association, American Psychological Association i National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
  • International Test Commission (2001). International Guidelines for Test Use. International Journal of Testing, 1(2), 93–114.

Najczęściej zadawane pytania

Czy porównywać kandydatów z innymi kandydatami do pracy, czy z populacją ogólną?

W selekcji zwykle z kandydatami do pracy lub pracownikami na podobnym poziomie i na porównywalnych stanowiskach, bo to z nimi konkurują Państwa kandydaci. Norma dla populacji ogólnej przydaje się we wstępnym przesiewie lub w rozwoju, ale na wyższych poziomach sprawia, że większość kandydatów wypada powyżej przeciętnej, i utrudnia ich rozróżnienie.

Czy bardzo wysoki centyl na skali osobowości jest zawsze dobry?

Nie. Wynik znormalizowany na skali osobowości pokazuje, jak silnie dana cecha jest wyrażona w porównaniu z grupą normatywną, a nie jak bardzo jest pożądana. Bardzo wysoki wynik na danej skali może pasować do jednego stanowiska, a przy innym być tematem do rozmowy. Należy go interpretować w odniesieniu do wymagań stanowiska i omówić z kandydatem.

Co zrobić, jeśli żadna grupa normatywna nie pasuje do stanowiska?

Należy zastosować najbliższą odpowiednią normę dla danego poziomu, zaznaczyć to w interpretacji i zachować ostrożność przy subtelnych rozróżnieniach i progach odcięcia. W miarę gromadzenia danych z własnych procedur można zbudować bardziej specyficzną normę, pod warunkiem że grupa będzie wystarczająco liczna i zostanie prawidłowo przeanalizowana.

Dlaczego wynik znormalizowany kandydata różni się w dwóch raportach?

Albo zastosowano inną grupę normatywną, albo normę przeliczono na podstawie nowych danych. Dlatego raport powinien wskazywać grupę normatywną i jej datę. W ramach jednej procedury wszystkich kandydatów należy porównywać z tą samą normą, a raporty przechowywać razem z normami, na których się opierały.

Przebadaj pierwszego kandydata jeszcze dziś

Darmowe konto, bez karty kredytowej, wyniki w kilka minut.