Tworzenie narzędzia psychologicznego z Laboratorium
Od jasnej definicji konstruktu po punktowany, udokumentowany test. Laboratorium może poprowadzić cały projekt albo tylko te etapy, których nie da się zrealizować we własnym zakresie.
Tworzenie testu to projekt realizowany na zamówienie. Zakres, harmonogram i cenę ustala się po rozmowie wstępnej.
Jak przebiega projekt tworzenia testu
Każdy etap kończy się decyzją: kontynuować, poprawić lub przerwać. Dzięki temu słabe pozycje i niejasne skale nie trafiają do ostatecznej wersji testu.
Zdefiniowanie konstruktu
Co dokładnie ma mierzyć test, u kogo i na potrzeby jakiej decyzji? Piszemy definicję konstruktu z jego aspektami, konstruktami powiązanymi i niepowiązanymi oraz przeznaczeniem testu.
Pisanie i przegląd pozycji
Pozycje są pisane na podstawie definicji, oceniane przez ekspertów merytorycznych pod kątem trafności treściowej, jasności i dopasowania kulturowego oraz sprawdzane pod kątem sformułowań, które zrozumiałyby tylko niektóre grupy.
Pilotaż i analiza
Badanie pilotażowe w grupie docelowej pokazuje, jak zachowują się pozycje: trudność, moc dyskryminacyjna, korelacje pozycja–wynik ogólny, wzorce odpowiedzi i pierwszy wgląd w strukturę czynnikową.
Ustalenie punktacji i dokumentacja
Ustalamy skale, zasady punktacji i pozycje punktowane odwrotnie oraz dokumentujemy każdy wybór, aby test mógł przejść do walidacji i normalizacji.
Wybory, które warto podjąć wcześnie
Te decyzje kształtują wszystko, co następuje później. Zmiana ich po pilotażu zwykle oznacza ponowny pilotaż.
Przeznaczenie
Selekcja, rozwój czy badania naukowe. Test do decyzji o pojedynczych osobach wymaga mocniejszych dowodów niż test do wniosków na poziomie grup.
Grupa docelowa
Kto będzie rozwiązywał test: poziom wykształcenia, etap kariery, branża. Pozycje i normy muszą pasować do tej populacji.
Języki
Jakie wersje językowe są potrzebne teraz, a jakie później. Każda wersja jest adaptowana i analizowana samodzielnie, a nie tylko tłumaczona.
Format pozycji
Wielokrotny wybór, skale Likerta, wymuszony wybór lub pozycje sytuacyjne, każdy z własnymi zaletami i tendencjami w odpowiedziach.
Długość i czas
Dość pozycji na skalę, by wyniki były rzetelne, ale nie więcej, niż badani są w stanie uważnie wypełnić.
Sposób badania
Z nadzorem lub bez, limity czasu, urządzenie. Badanie online bez nadzoru wymaga szczególnej uwagi wobec ekspozycji pozycji i jakości odpowiedzi.
Gotowy do działania w Match.hr
Test opracowany z Laboratorium można oferować w Match.hr, wyłącznie dla własnej organizacji lub w bibliotece, a punktacją i raportami zajmuje się platforma. Które z poniższych punktów dotyczą Państwa testu i od kiedy, ustalamy podczas rozmowy wstępnej.
- Skale, podskale i pozycje punktowane odwrotnie zgodnie z zasadami punktacji
- Wyniki znormalizowane, takie jak centyle, staniny i wyniki T, gdy istnieje już grupa normatywna
- Osobna analiza każdej wersji językowej
- Statystyki pozycji przeliczane ponownie w miarę przybywania badań
- Etykieta psychometryczna pokazująca poziom oceny i dotychczasowe dowody
Nasze kryteria oceny mają strukturę wzorowaną na modelach oceny testów COTAN i EFPA. Samą ocenę przeprowadza Match.hr.
Nowy test zaczyna bez dowodów
Pilotaż pokazuje, czy pozycje zachowują się zgodnie z zamierzeniem. Nie pokazuje, że test cokolwiek przewiduje. Dowody dla konkretnego zastosowania, takiego jak selekcja, wymagają badania walidacyjnego z wystarczającą liczbą uczestników i odpowiednim kryterium. Do tego czasu test należy przedstawiać jako będący w fazie rozwoju i nie używać go samodzielnie do decyzji dotyczących ludzi.
Najczęściej zadawane pytania
Ile osób potrzeba do pilotażu?
To zależy od analiz. Statystyki pozycji stają się dość stabilne przy kilkuset respondentach na wersję językową; analiza czynnikowa zwykle wymaga więcej, zwłaszcza przy wielu skalach. Podczas rozmowy wstępnej ustalamy liczebność próby dopasowaną do Państwa pytań i dostępu do grupy docelowej.
Czy można opracować test w kilku językach jednocześnie?
Tak, ale każdy język traktujemy jako osobną wersję. Pozycje adaptują rodzimi użytkownicy języka ze znajomością dziedziny, a przegląd dotyczy znaczenia, nie tylko sformułowań. To, czy wersje mierzą to samo, rozstrzygają dane, dlatego każda wersja przechodzi osobny pilotaż i analizę.
Do kogo należy narzędzie?
Prawa i licencje ustala się na piśmie przed rozpoczęciem prac. Jeśli później zechcą Państwo oferować test innym organizacjom, strona „Opublikuj swój test” wyjaśnia, jak narzędzia trafiają do Match.hr.
Co zawiera dokumentacja?
Definicję konstruktu, sposób pisania i przeglądu pozycji, próbę pilotażową i wyniki, zasady punktacji, przeznaczenie testu i jego ograniczenia. Stanowi podstawę podręcznika technicznego po przeprowadzeniu walidacji i normalizacji.
Powiązane strony
Przebadaj pierwszego kandydata jeszcze dziś
Darmowe konto, bez karty kredytowej, wyniki w kilka minut.