Nhóm chuẩn: cách diễn giải điểm test
Điểm 27 trên 40 chưa nói lên nhiều điều cho đến khi bạn biết nó được so sánh với ai. Bài viết này giải thích nhóm chuẩn và các thang điểm chuẩn, cũng như cách đọc điểm test mà không suy diễn quá mức.
Tóm tắt
- Điểm thô chỉ có ý nghĩa khi được so sánh với một nhóm chuẩn được mô tả rõ ràng.
- Bách phân vị, sten, stanine và điểm T thể hiện cùng một vị trí trên các thang khác nhau; các bậc bách phân vị không đều nhau.
- Nhóm chuẩn phù hợp tương ứng với cấp độ, quốc gia, ngôn ngữ và điều kiện làm test của những người bạn đánh giá.
- Hãy kiểm tra quy mô, thành phần, thời điểm và cách thu thập dữ liệu của một chuẩn trong tài liệu kỹ thuật.
- Trong tuyển chọn, chuẩn riêng theo giới tính hay theo nhóm được bảo vệ khác thường không phải là giải pháp; thay vào đó, hãy kiểm tra thiên lệch.
Điểm thô cần một nhóm để so sánh
Điểm thô là số câu trả lời đúng trong một bài test năng lực, hoặc tổng các câu trả lời trên một thang đo tính cách. Bản thân nó không nói lên nhiều: 27 trên 40 có thể là kết quả tốt ở một bài test khó nhưng chỉ bình thường ở một bài test dễ, còn một thang đo tính cách thì hoàn toàn không có tổng điểm “đúng”.
Chuẩn chuyển điểm thô thành một vị trí trong một nhóm tham chiếu: những người đã làm cùng bài test trong điều kiện tương đương. Vị trí đó mang tính tương đối. Nó cho biết một người so với nhóm đó như thế nào, chứ không cho biết người đó có phù hợp với vị trí hay không. Sự phù hợp phụ thuộc vào yêu cầu của vị trí và vào bằng chứng cho thấy bài test dự báo được những điều quan trọng (xem độ tin cậy và độ hiệu lực).
Các thang điểm chuẩn và mối liên hệ giữa chúng
Hầu hết các thang điểm chuẩn thể hiện cùng một điều: điểm số nằm trên hoặc dưới mức trung bình của nhóm chuẩn bao xa, tính theo độ lệch chuẩn (SD). Chúng khác nhau ở giá trị trung bình, độ phân tán và mức độ chi tiết.
- Điểm z: trung bình 0, SD 1. Là nền tảng của các thang khác, hiếm khi xuất hiện trong báo cáo.
- Điểm T: trung bình 50, SD 10. Khoảng hai phần ba nhóm chuẩn nằm trong khoảng từ 40 đến 60.
- Sten: từ 1 đến 10, trung bình 5,5, SD 2. Phổ biến trong báo cáo tính cách.
- Stanine: từ 1 đến 9, trung bình 5, SD 2. Phổ biến với các bài test năng lực.
- Bách phân vị: tỷ lệ phần trăm số người trong nhóm chuẩn có điểm thấp hơn. Dễ hiểu, nhưng các bậc không đều nhau.
Thận trọng với bách phân vị
Bách phân vị kéo giãn các khác biệt ở giữa phân phối và nén chúng lại ở hai đầu. Đi từ bách phân vị 50 lên 60 chỉ cần một chênh lệch điểm thô nhỏ; đi từ bách phân vị 90 lên 99 cần một chênh lệch lớn. Vì vậy, đừng tính trung bình các bách phân vị. Ngay cả trên những thang thô hơn như sten, chênh lệch một điểm giữa hai ứng viên thường nằm trong phạm vi sai số đo lường.
Giải thích điểm số cho quản lý tuyển dụng
Bách phân vị thường dễ hiểu nhất: trong 100 người thuộc nhóm so sánh này, khoảng 80 người có điểm thấp hơn. Hãy nêu tên nhóm ngay trong cùng câu và nhắc đến biên sai số: điểm số là một ước lượng, và khoảng tin cậy trong báo cáo cho thấy điểm thực có khả năng nằm ở đâu. Với các thang đo tính cách, hãy nói thêm rằng cao hay thấp tự nó không phải là tốt hay xấu.
Một bài test tư duy số học giả định có 40 câu, và một ứng viên trả lời đúng 27 câu. So với chuẩn là lực lượng lao động nói chung, đó là bách phân vị 80 (điểm T 58, sten 7, stanine 7). So với chuẩn là ứng viên có trình độ đại học, cùng điểm thô đó là bách phân vị 55 (điểm T 51, sten 6, stanine 5). So với dân số rộng, ứng viên rõ ràng trên mức trung bình; trong số ứng viên có trình độ đại học, ở gần mức trung bình. Phép so sánh nào phù hợp phụ thuộc vào việc ứng viên cạnh tranh với ai. Các con số mang tính minh họa và giả định phân phối chuẩn.
Chọn nhóm chuẩn phù hợp
Hãy chọn nhóm mà bạn thực sự muốn so sánh mọi người với.
- Dân số chung hoặc lực lượng lao động: hữu ích cho sàng lọc rộng và phát triển, nhưng trong tuyển chọn cho các vị trí cấp cao hơn, nó khiến gần như ai cũng trông có vẻ trên trung bình.
- Chuẩn theo trình độ học vấn hoặc cấp độ công việc: những người ở cấp độ tương tự, chẳng hạn vị trí nghề, vị trí dành cho người tốt nghiệp đại học hoặc vị trí quản lý. Thường là mốc tham chiếu tốt hơn cho tuyển chọn.
- Chuẩn ứng viên: được thu thập trong các quy trình tuyển chọn thực tế. Với bảng hỏi tính cách, ứng viên có xu hướng mô tả bản thân tích cực hơn so với những người không có gì phải đánh đổi.
- Chuẩn nhân viên hoặc chuẩn tổ chức: hữu ích cho phát triển. Trong tuyển chọn, chúng mang các lựa chọn tuyển dụng trước đây vào quyết định mới, và thường có quy mô nhỏ.
Quốc gia và ngôn ngữ
Chuẩn gắn với một phiên bản bài test cụ thể. Việc dịch có thể thay đổi cách các câu hỏi hoạt động và phong cách trả lời khác nhau giữa các quốc gia, nên chuẩn của một phiên bản ngôn ngữ không tự động áp dụng cho phiên bản khác. Khi ứng viên làm các phiên bản ngôn ngữ khác nhau, hãy kiểm tra xem tài liệu kỹ thuật có cung cấp chuẩn cho từng phiên bản và bằng chứng cho thấy các phiên bản đo cùng một thứ hay không.
Hậu quả của việc chọn sai nhóm chuẩn
Một nhóm quá rộng làm điểm số bị thổi phồng; một nhóm quá chọn lọc khiến ứng viên giỏi trông chỉ ở mức trung bình. Trộn nhiều chuẩn trong cùng một quy trình còn tệ hơn, vì các ứng viên được so với những nhóm khác nhau không còn có thể so sánh được với nhau. Hãy dùng một nhóm chuẩn cho mỗi quy trình và ghi lại đó là nhóm nào.
Bản thân chuẩn tốt đến đâu?
Chuẩn là một mẫu, với những điểm yếu của bất kỳ mẫu nào. Trước khi dựa vào nó, hãy kiểm tra những điều sau.
- Quy mô: không có một mức tối thiểu duy nhất. Vài trăm người cho mỗi nhóm chuẩn là điểm khởi đầu phổ biến; để bách phân vị ở hai đầu ổn định thì cần nhiều hơn.
- Thành phần: nhóm có giống những người bạn đánh giá về cấp độ, ngành, khu vực, độ tuổi và giới tính không? Một mẫu lớn nhưng lệch không tốt hơn một mẫu nhỏ hơn nhưng có thành phần hợp lý.
- Tính cập nhật: dân số và thói quen làm test thay đổi. Hãy biết dữ liệu được thu thập khi nào và thận trọng với những chuẩn đã nhiều năm tuổi.
- Cách thu thập: ứng viên, nhân viên, hay tình nguyện viên và sinh viên? Mức độ đánh đổi, việc giám sát và thiết bị đều ảnh hưởng đến điểm số.
Một tài liệu kỹ thuật tốt báo cáo tất cả những điều này, cùng với thống kê mô tả, cách quy đổi điểm thô và sai số chuẩn của phép đo. Các hệ thống đánh giá bài test như của COTAN và EFPA chấm điểm chuẩn như một tiêu chí riêng; bài viết về tiêu chí chất lượng bài test giải thích cách thức. Trên Match.hr, nhãn của mỗi bài test cho biết quy mô mẫu chuẩn và ngày tính toán gần nhất, và mỗi báo cáo đều nêu tên nhóm chuẩn được sử dụng (xem thêm tại định chuẩn).
Chuẩn và tính công bằng
Các nhóm có thể khác nhau về điểm trung bình. Một phản ứng dễ bị cám dỗ là lập chuẩn riêng cho từng nhóm, để phụ nữ chỉ được so với phụ nữ, hoặc ứng viên lớn tuổi chỉ được so với ứng viên lớn tuổi. Với các phiên bản ngôn ngữ, chuẩn riêng thường là cần thiết. Với các đặc điểm như giới tính, độ tuổi hay nguồn gốc dân tộc, chúng thường không phải là giải pháp trong tuyển chọn.
- Cùng một điểm thô sẽ dẫn đến điểm chuẩn khác nhau tùy theo nhóm của một người, điều có thể cấu thành đối xử bất bình đẳng.
- Chúng che giấu sự khác biệt thay vì giải thích nó. Một khác biệt có thể đến từ câu hỏi bị thiên lệch, từ một khác biệt thực sự trong điều được đo, hoặc từ cách bài test được sử dụng, và mỗi trường hợp đòi hỏi một cách xử lý khác nhau.
- Các đặc điểm như nguồn gốc dân tộc là loại dữ liệu cá nhân đặc biệt theo GDPR và thường hoàn toàn không thể thu thập trong tuyển chọn.
Cách tốt hơn là kiểm tra trực tiếp thiên lệch: chức năng câu hỏi khác biệt (DIF), tính bất biến đo lường giữa các nhóm và các phiên bản ngôn ngữ, và tác động bất lợi tại các điểm cắt bạn sử dụng. Sau đó kiểm tra xem điều bài test đo có liên quan đến vị trí hay không. Trang công bằng và thiên lệch giải thích các phân tích này.
Danh sách kiểm tra trước khi đọc báo cáo
- Nhóm chuẩn nào được nêu tên, và nhóm đó có phù hợp với cấp độ, quốc gia và ngôn ngữ của vị trí không?
- Nhóm chuẩn lớn đến đâu, được thu thập như thế nào và vào thời điểm nào?
- Ứng viên có làm cùng phiên bản, cùng ngôn ngữ và trong cùng điều kiện giám sát như nhóm chuẩn không?
- Chênh lệch giữa các ứng viên có lớn hơn khoảng tin cậy không?
- Tất cả ứng viên trong quy trình này có được so sánh với cùng một chuẩn không?
- Với các thang đo tính cách: bạn có đang đọc cao và thấp như những vị trí, chứ không phải tốt và xấu?
- Bạn còn biết thêm điều gì? Điểm test đứng cạnh phỏng vấn, bài làm mẫu công việc và thông tin tham chiếu, và quyết định do con người đưa ra.
Nếu báo cáo hoặc tài liệu kỹ thuật không trả lời được những câu hỏi này, hãy hỏi nhà phát hành trước khi dựa vào điểm số.
Nguồn tham khảo
- American Educational Research Association, American Psychological Association and National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: AERA.
- International Test Commission (2001). International Guidelines for Test Use. International Journal of Testing, 1(2), 93–114.