Testy zdolności poznawczych w rekrutacji

Testy rozumowania numerycznego, werbalnego i abstrakcyjnego to częsty etap rekrutacji. Ten przewodnik wyjaśnia, co mierzą, co aktualne badania mówią o tym, jak dobrze przewidują efektywność zawodową, oraz jak stosować je sprawiedliwie i z rozwagą.

W skrócie

  • Testy zdolności poznawczych mierzą rozumowanie na liczbach, słowach i wzorach; podtesty warto dobierać do wymagań stanowiska.
  • Pozostają użytecznym predyktorem efektywności zawodowej, zwłaszcza w złożonych zawodach, ale najnowsze szacunki są niższe niż często przytaczane wartości.
  • Średnie różnice między grupami mogą prowadzić do niekorzystnego wpływu (adverse impact): wymagany poziom należy wyprowadzić z pracy, progi odcięcia stosować oszczędnie i łączyć metody.
  • Banki zadań, jasne limity czasu i weryfikacja na decydujących etapach zwiększają odporność testów online.
  • Wyniki należy porównywać z odpowiednią grupą normatywną, traktować jako jedno z wielu źródeł informacji, a decyzję powinien podjąć człowiek.

Co mierzą testy zdolności poznawczych

Testy zdolności poznawczych, nazywane też testami uzdolnień lub testami rozumowania, mierzą, jak dobrze ktoś przyswaja nowe informacje, dostrzega zależności i rozwiązuje problemy w standaryzowanych warunkach. Nie mierzą wiedzy zawodowej, zaangażowania ani osobowości. W rekrutacji powszechne są trzy rodzaje podtestów:

  • Rozumowanie numeryczne: wyciąganie wniosków z liczb, tabel i wykresów. Obliczenia są zwykle proste; trudność polega na wyborze właściwych danych i właściwych kroków.
  • Rozumowanie werbalne: ocena, czy stwierdzenie wynika z krótkiego tekstu, jest z nim sprzeczne, czy też nie da się tego na jego podstawie rozstrzygnąć.
  • Rozumowanie abstrakcyjne lub logiczne: odnajdywanie reguły w ciągach kształtów, figur lub liczb, w niewielkim stopniu zależne od języka czy wcześniejszej wiedzy.

Zdolności ogólne i specyficzne

Wyniki różnych testów rozumowania zwykle są ze sobą skorelowane. Dlatego większość modeli inteligencji zakłada na szczycie czynnik ogólny, a pod nim zdolności szersze i węższe. W rekrutacji oznacza to, że połączenie kilku podtestów daje bardziej rzetelne oszacowanie zdolności ogólnych niż którykolwiek pojedynczy podtest, natomiast podtest specyficzny ma uzasadnienie wtedy, gdy stanowisko wyraźnie go wymaga, na przykład rozumowanie numeryczne w przypadku analityka finansowego.

Podtesty warto dobierać na podstawie analizy stanowiska, a nie z przyzwyczajenia. Na stronie Zdolności poznawcze przedstawiono podtesty i formaty dostępne w Match.hr.

Co przewidują i jak silnie

Zdolności poznawcze należą do najlepiej zbadanych predyktorów efektywności zawodowej. Przez długi czas punktem odniesienia była metaanaliza Schmidta i Huntera (1998), w której trafność ogólnych zdolności umysłowych względem efektywności zawodowej oszacowano na około 0,51, co plasowało je wśród najwyżej ocenionych porównywanych metod selekcji.

Sackett, Zhang, Berry i Lievens (2022) ponownie przeanalizowali, w jaki sposób wcześniejsze badania korygowały ograniczenie zakresu: trafność można obliczyć tylko dla osób, które zostały zatrudnione, a ta grupa jest mniej zróżnicowana niż cała pula kandydatów. Doszli do wniosku, że korekty te były często zbyt duże. Ich zrewidowane oszacowanie dla ogólnych zdolności poznawczych wynosi około 0,31, a dla ustrukturyzowanych rozmów kwalifikacyjnych około 0,42.

Współczynniki trafności to średnie z wielu badań i zawodów. To, czy dany test dobrze przewiduje w konkretnym kontekście, zależy także od jego rzetelności, adekwatności podtestów do stanowiska i sposobu wykorzystania wyników. Przewodnik o rzetelności i trafności wyjaśnia, jak odczytywać te wartości.

Bezstronność i niekorzystny wpływ

W niektórych testach poznawczych grupy różnią się średnimi wynikami, na przykład ze względu na wykształcenie lub między osobami badanymi w pierwszym i w drugim języku. Średnie nie mówią nic o jednostkach, a wyniki w obrębie każdej grupy są bardzo zróżnicowane. Jednak przy wysokim progu odcięcia lub ścisłym rankingu od najlepszego wyniku nawet umiarkowane różnice średnich mogą prowadzić do różnych wskaźników selekcji w poszczególnych grupach. Zjawisko to nazywa się niekorzystnym wpływem (adverse impact).

Tego ryzyka nie da się całkowicie wyeliminować, ale można je ograniczyć i uzasadnić swoje wybory:

  • Wymagany poziom należy wyprowadzić z pracy, zamiast domyślnie wybierać osoby z najwyższymi wynikami.
  • Progi odcięcia warto stosować oszczędnie. Umiarkowane minimum albo brak progu i uwzględnienie wyniku obok innych informacji zwykle powodują mniejszy niekorzystny wpływ niż wysoki, sztywny próg.
  • Łączenie metod. Ustrukturyzowane rozmowy, testy osobowości czy próbki pracy poszerzają podstawę oceny i zmniejszają wagę pojedynczego testu.
  • Badanie we właściwym języku. Test werbalny w drugim języku częściowo mierzy znajomość języka. Tam, gdzie to możliwe, warto zaproponować zwalidowaną wersję w języku ojczystym kandydata lub nadać większą wagę rozumowaniu abstrakcyjnemu.
  • Planowanie dostosowań. Dostosowania, takie jak dodatkowy czas w przypadku dysleksji czy wersja przyjazna czytnikom ekranu, należy uzgodnić z wyprzedzeniem i uwzględnić przy interpretacji wyników.
  • Sprawdzanie stronniczości. Warto poprosić dostawcę testu o analizy bezstronności dla każdej wersji językowej i, jeśli prawo na to pozwala, monitorować wskaźniki selekcji we własnym procesie.

Strona Bezstronność testów wyjaśnia, jak analizuje się stronniczość zadań, niezmienniczość pomiarową i niekorzystny wpływ oraz czego te analizy nie są w stanie wykazać.

Warunki badania online

Większość testów poznawczych w rekrutacji wykonuje się dziś online, w domu i bez nadzoru. Dla kandydatów to szybkie i wygodne, ale rodzi dwa pytania: czy test rzeczywiście rozwiązuje kandydat i czy robi to samodzielnie?

Banki zadań i losowane wersje

Dobrze zbudowane testy online losują zadania z dużego banku, dzięki czemu kandydaci otrzymują różne, ale równoważne wersje. Udostępniane odpowiedzi niewiele wtedy dają, a zapamiętane zadania raczej się nie powtórzą.

Limity czasu

Większość testów rozumowania ma limit czasu. Ogranicznik czasowy zapewnia porównywalność wyników i utrudnia sprawdzanie odpowiedzi, ale jednocześnie sprawia, że mierzona jest także szybkość. Należy sprawdzić, czy limit czasu jest taki sam jak w grupie normatywnej, i z wyprzedzeniem poinformować kandydatów, ile będą mieli czasu.

Weryfikacja na decydujących etapach

Jeśli wynik uzyskany bez nadzoru ma realną wagę w decyzji, warto rozważyć krótki test weryfikacyjny pod nadzorem na późniejszym etapie, na miejscu lub w sesji z proctoringiem, i porównać go z pierwszym wynikiem. Kandydatów należy o tym poinformować na początku.

Doświadczenie kandydata

Kandydaci powinni wiedzieć, czemu służy test, ile trwa, na jakim urządzeniu najlepiej go wykonać i jak zostaną wykorzystane wyniki. Jasne zadania próbne na początku oraz spokojny, dostępny interfejs pomagają ograniczyć lęk przed testem, który może obniżać wyniki, nie mówiąc nic o zdolnościach.

Ćwiczenie i przygotowanie

Kandydaci przygotowują się do testów rozumowania, często korzystając z testów próbnych w serwisach takich jak Assessment-Training.com. Znajomość typów pytań zmniejsza stres i niejasności co do instrukcji, więc wynik z większym prawdopodobieństwem odzwierciedla rzeczywiste rozumowanie.

Ćwiczenie ma jednak wpływ. Wyniki zwykle nieco rosną, gdy ktoś już wcześniej rozwiązywał ten sam lub podobny test, głównie dzięki oswojeniu z formatem i lepszemu gospodarowaniu czasem. To jeden z powodów, by zachować okres karencji między kolejnymi podejściami i nie porównywać wyniku powtórnego badania bezpośrednio z pierwszym.

Dla pracodawców wniosek jest uspokajający. Przy dużym banku zadań i losowanych wersjach ćwiczenie oznacza oswojenie z formatem, a nie nauczenie się odpowiedzi. Otwarte informowanie o teście i typach pytań wyrównuje też szanse kandydatów, którzy mieli i nie mieli dostępu do materiałów przygotowawczych.

Dobre wykorzystanie wyników

Wynik nabiera znaczenia dopiero wtedy, gdy wiadomo, z czym się go porównuje. Raporty zwykle wyrażają rezultat jako centyl, stanin lub podobny wynik względem grupy normatywnej. Należy wybrać grupę normatywną odpowiednią do poziomu stanowiska: kandydatów na stanowisko dla absolwentów porównuje się z podobną populacją, a nie z ogółem pracujących.

Przykład Dwoje kandydatów na stanowisko analityka

Dwoje kandydatów na fikcyjne stanowisko analityka danych rozwiązuje testy rozumowania numerycznego i werbalnego. Na tle grupy normatywnej absolwentów kandydat A uzyskuje w rozumowaniu numerycznym 72. centyl, a kandydatka B 68. centyl. Ich przedziały ufności niemal całkowicie się pokrywają, więc test ich nie różnicuje. O tym, kto przechodzi dalej, zespół rekrutacyjny decyduje na podstawie ustrukturyzowanej rozmowy i próbki pracy.

  • Wynik należy traktować jako jedno ze źródeł informacji, obok rozmów, próbek pracy i referencji.
  • Warto patrzeć na przedziały ufności: niewielkie różnice między kandydatami często mieszczą się w granicach błędu pomiaru.
  • Sposób uwzględnienia wyniku trzeba ustalić z góry, aby każdy kandydat był traktowany tak samo.
  • Decyzję podejmuje człowiek. Wyniku testu poznawczego nie należy używać do automatycznego odrzucania kandydatów.

Jeśli oprogramowanie lub AI szereguje albo filtruje kandydatów, akt w sprawie sztucznej inteligencji (AI Act) klasyfikuje je jako system wysokiego ryzyka i wymaga nadzoru ze strony człowieka; zob. AI Act a narzędzia oceny w rekrutacji.

Źródła

  • Schmidt, F. L., & Hunter, J. E. (1998). The validity and utility of selection methods in personnel psychology: Practical and theoretical implications of 85 years of research findings. Psychological Bulletin.
  • Sackett, P. R., Zhang, C., Berry, C. M., & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.

Najczęściej zadawane pytania

Czy stosować próg odcięcia?

Tylko wtedy, gdy jego poziom można uzasadnić wymaganiami stanowiska, i najlepiej umiarkowany. Wysokie, sztywne progi zwiększają ryzyko niekorzystnego wpływu i sprawiają, że małe, niepewne różnice stają się rozstrzygające. Wiele organizacji osiąga lepsze rezultaty, uwzględniając wynik obok rozmów i próbek pracy, przy czym ostateczną decyzję podejmuje człowiek.

Czy testy online bez nadzoru są wystarczająco wiarygodne?

Na wczesnych etapach zwykle tak, pod warunkiem że test korzysta z banku zadań lub losowanych wersji, a limity czasu odpowiadają grupie normatywnej. Gdy wynik ma dużą wagę w decyzji, krótki test weryfikacyjny pod nadzorem na późniejszym etapie zwiększa pewność.

Jak długo kandydat powinien czekać przed ponownym podejściem do testu?

Ponowne rozwiązanie testu wkrótce po pierwszej próbie wywołuje efekt ćwiczenia, więc wyniki nie są porównywalne. Rozsądnym punktem wyjścia jest okres karencji wynoszący kilka miesięcy, a powtórne badanie powinno odbyć się na innej wersji testu.

Czy stosować wyłącznie rozumowanie abstrakcyjne, aby uniknąć wpływu języka?

Rozumowanie abstrakcyjne w mniejszym stopniu zależy od języka, co pomaga, gdy kandydaci rozwiązują test w drugim języku. Jeśli jednak stanowisko w dużej mierze opiera się na informacjach pisemnych lub liczbowych, rozumowanie werbalne lub numeryczne mierzy coś, czego praca wymaga. Wyboru należy dokonać na podstawie analizy stanowiska i tam, gdzie to możliwe, oferować zwalidowane wersje językowe.

Przebadaj pierwszego kandydata jeszcze dziś

Darmowe konto, bez karty kredytowej, wyniki w kilka minut.