Độ tin cậy và độ hiệu lực: những điều chuyên gia nhân sự cần biết

Hai thuật ngữ xuất hiện trong mọi tài liệu kỹ thuật của bài test và mọi bài thuyết trình của nhà cung cấp. Bài viết này giải thích chúng có ý nghĩa gì trong thực tế, nên tìm những con số nào và nên hỏi gì trước khi dùng một bài test để hỗ trợ quyết định về con người.

Tóm tắt

  • Độ tin cậy liên quan đến tính nhất quán: cùng một người có nhận được điểm gần như tương tự nếu làm lại không?
  • Độ hiệu lực liên quan đến ý nghĩa: điểm số có hỗ trợ kết luận bạn muốn rút ra, cho vị trí này, nhóm này và ngôn ngữ này không?
  • Mỗi điểm số là một khoảng, không phải một điểm. Sai số chuẩn của phép đo cho bạn biết khoảng đó rộng bao nhiêu.
  • Hệ số hiệu lực trong tuyển chọn là những con số khiêm tốn nhưng vẫn có ý nghĩa, và các phương pháp được chọn tốt bổ sung cho nhau.
  • Hãy yêu cầu bằng chứng đằng sau mỗi con số: mẫu, tổng thể, phiên bản ngôn ngữ và mục đích sử dụng.

Vì sao hai thuật ngữ này quan trọng khi bạn chọn bài test

Một bài test cho bạn một con số để hỗ trợ quyết định về một người. Con số đó chỉ hữu ích khi đáp ứng hai điều. Nó phải nhất quán: cùng một người được đo hai lần trong cùng điều kiện nên nhận được kết quả gần như tương tự. Và nó phải có ý nghĩa đối với quyết định: điểm cao hơn phải đi kèm với nhiều hơn những gì quan trọng ở vị trí đó.

Điều thứ nhất là độ tin cậy, điều thứ hai là độ hiệu lực. Một bài test có thể rất đáng tin cậy nhưng vẫn đo một thứ không liên quan đến công việc. Chiều ngược lại thì không được: một bài test cho kết quả không nhất quán thì cũng không thể dự báo bất cứ điều gì một cách nhất quán. Độ tin cậy là điều kiện tiên quyết của độ hiệu lực, không phải là thứ thay thế cho nó.

Độ tin cậy: điểm số nhất quán đến đâu?

Độ tin cậy được thể hiện bằng một hệ số từ 0 đến 1. Có nhiều loại, mỗi loại trả lời một câu hỏi khác nhau.

Độ tin cậy test–retest

Cùng một nhóm người làm bài test hai lần. Hệ số tương quan cao có nghĩa là điểm số ổn định theo thời gian, điều quan trọng với những đặc điểm được kỳ vọng là ổn định, như tính cách. Khoảng cách giữa hai lần có ý nghĩa: quá ngắn thì người làm test còn nhớ câu trả lời, quá dài thì những thay đổi thực sự bị lẫn vào.

Độ nhất quán nội tại

Các câu hỏi của một thang đo có đo cùng một thứ không? Chỉ số thường dùng là hệ số alpha của Cronbach; hệ số omega của McDonald thường phù hợp hơn khi các câu hỏi phản ánh cấu trúc với mức độ mạnh khác nhau. Một quy tắc kinh nghiệm thường được trích dẫn là khoảng 0,70 có thể chấp nhận cho nghiên cứu ở cấp độ nhóm, trong khi quyết định về cá nhân đòi hỏi giá trị cao hơn rõ rệt. Các mô hình đánh giá bài test đặt ngưỡng riêng, tùy theo mức độ hệ trọng; xem cách các tiêu chí chất lượng bài test vận hành.

Độ tin cậy giữa những người đánh giá

Khi điểm số do người đánh giá đưa ra chứ không phải do khóa chấm điểm, như trong phỏng vấn và các bài tập của trung tâm đánh giá (assessment centre), câu hỏi đặt ra là những người đánh giá khác nhau có đi đến cùng một mức điểm không. Chỉ số này được báo cáo dưới dạng hệ số tương quan nội lớp (ICC) hoặc hệ số kappa của Cohen. Câu hỏi có cấu trúc, thang đánh giá hành vi và đào tạo người đánh giá giúp nâng cao chỉ số này.

Sai số chuẩn của phép đo

Hệ số tin cậy mô tả bài test trên cả một nhóm. Đối với một cá nhân, sai số chuẩn của phép đo (SEM) hữu ích hơn: độ lệch chuẩn của thang đo nhân với căn bậc hai của một trừ độ tin cậy. Nó cho thấy điểm quan sát được có thể cách bao xa so với điểm mà người đó sẽ đạt nếu không có sai số đo lường.

Ví dụ Điểm số là một khoảng (số liệu giả định)

Một thang đo tính cách dùng điểm T (trung bình 50, độ lệch chuẩn 10) và có độ tin cậy 0,84 trong nhóm chuẩn liên quan. SEM là 10 × √(1 − 0,84) = 4 điểm, và khoảng tin cậy 95% trải rộng khoảng hai SEM về mỗi phía của điểm số. Ứng viên A đạt 56 điểm, tức là khoảng 48 đến 64; ứng viên B đạt 52 điểm, khoảng 44 đến 60. Hai khoảng gần như trùng nhau hoàn toàn: chênh lệch 4 điểm nói lên rất ít và không nên quyết định thứ hạng.

Độ hiệu lực: điểm số có mang ý nghĩa bạn cần không?

Độ hiệu lực là yếu tố quan trọng hơn trong hai yếu tố. Các chuẩn mực chuyên môn hiện nay không coi nó là một thuộc tính cố định của bài test, mà là mức độ bằng chứng hỗ trợ một cách diễn giải điểm số cụ thể cho một mục đích sử dụng cụ thể. Vì vậy, câu hỏi hữu ích không phải là bài test có hiệu lực hay không, mà là: có hiệu lực cho điều gì, với ai và bằng ngôn ngữ nào?

Độ hiệu lực nội dung

Các câu hỏi có bao quát những gì quan trọng ở vị trí đó, và chỉ những điều đó, không? Thông thường, các chuyên gia trong lĩnh vực đánh giá điều này, chẳng hạn bằng cách so sánh các nhiệm vụ trong một bài test kỹ năng với kết quả phân tích công việc.

Độ hiệu lực cấu trúc

Bài test có đo đúng điều nó tuyên bố đo không? Bằng chứng bao gồm cấu trúc nhân tố, tương quan với các thước đo tương tự và khác biệt, và việc cấu trúc đó có giữ vững ở từng phiên bản ngôn ngữ hay không. Thiếu những bằng chứng này, bạn không thực sự biết tên của một thang đo đại diện cho điều gì.

Độ hiệu lực tiêu chí và độ hiệu lực dự báo

Điểm số có liên hệ với những kết quả quan trọng, như hiệu quả công việc, kết quả đào tạo hay khả năng giữ chân nhân viên, không? Thiết kế dự báo cho người lao động làm test lúc tuyển dụng và đo kết quả về sau. Thiết kế đồng thời cho nhân viên hiện tại làm test, nhanh hơn, nhưng nhóm này đã được tuyển chọn, điều thường làm hệ số tương quan nhỏ đi. Tiêu chí cũng quan trọng: một đánh giá hiệu quả công việc mơ hồ hoặc không nhất quán sẽ giới hạn mức cao nhất mà bất kỳ hệ số hiệu lực nào có thể đạt được.

Bao nhiêu là tốt? Cách đọc hệ số hiệu lực

Độ hiệu lực tiêu chí thường được báo cáo dưới dạng hệ số tương quan, và trong tuyển chọn nhân sự, các hệ số này ở mức khiêm tốn. Điều đó là bình thường: hiệu quả công việc phụ thuộc vào rất nhiều yếu tố mà một bài test không thể nắm bắt, từ đội nhóm và người quản lý đến cuộc sống ngoài công việc. Hệ số tương quan khoảng 0,30 là một kết quả có ý nghĩa trong lĩnh vực này, không phải là kết quả yếu.

Sackett, Zhang, Berry và Lievens (2022) đã xem xét lại các bằng chứng phân tích tổng hợp và đưa ra những ước lượng thận trọng hơn so với các con số cũ vẫn được trích dẫn rộng rãi, chủ yếu vì họ đánh giá rằng các hiệu chỉnh trước đây cho hiện tượng thu hẹp phạm vi là quá lớn. Trong số các ước lượng của họ:

  • Phỏng vấn có cấu trúc: khoảng 0,42
  • Năng lực nhận thức chung: khoảng 0,31
  • Sự tận tâm: khoảng 0,19

Từ đó rút ra ba điểm. Đây là giá trị trung bình qua nhiều nghiên cứu và vị trí, đã được hiệu chỉnh cho các sai lệch thống kê, nên một bài test cụ thể trong bối cảnh của bạn có thể cho kết quả tốt hơn hoặc kém hơn. Tất cả đều rõ ràng lớn hơn không: khi được áp dụng nhất quán qua nhiều quyết định tuyển dụng, ngay cả độ hiệu lực khiêm tốn cũng cải thiện kết quả trung bình so với nhận định không có cấu trúc. Và các phương pháp đo những thứ khác nhau sẽ bổ sung thông tin cho nhau. Năng lực nhận thức và sự tận tâm chỉ liên hệ yếu với nhau, nên kết hợp cả hai thường dự báo tốt hơn từng yếu tố riêng lẻ. Lập luận tương tự ủng hộ việc dùng bài test năng lực nhận thức bên cạnh phỏng vấn có cấu trúc thay vì thay thế cho nó.

Đọc tài liệu kỹ thuật: những câu hỏi nên đặt ra

Một con số trong tờ quảng cáo có ít ý nghĩa nếu thiếu bối cảnh, và một tài liệu kỹ thuật tốt cung cấp bối cảnh đó. Dù bạn đọc tài liệu hay trao đổi với nhà cung cấp, những câu hỏi sau sẽ giúp ích.

  • Loại độ tin cậy nào được báo cáo, và sai số chuẩn của phép đo có được cung cấp không?
  • Mẫu lớn đến đâu, và gồm những ai: quốc gia, ngôn ngữ, cấp độ công việc? Hệ số tính từ vài chục người là không ổn định.
  • Bằng chứng liên quan đến phiên bản ngôn ngữ nào? Một bản dịch cần có dữ liệu riêng trước khi bạn giả định nó hoạt động theo cùng cách.
  • Tiêu chí trong các nghiên cứu độ hiệu lực là gì, được đo như thế nào, và thiết kế là dự báo hay đồng thời?
  • Bằng chứng có giá trị cho mục đích sử dụng nào: tuyển chọn, phát triển, hay một nhóm vị trí cụ thể?
  • Bằng chứng mới đến đâu, và tài liệu nói gì về những điều chưa được nghiên cứu?

“Bài test đã được kiểm định”, mà không nói rõ cho điều gì, với ai và bằng những con số nào, thì chưa trả lời được câu hỏi. Bằng chứng chưa đầy đủ là chấp nhận được, đặc biệt với các bài test mới, miễn là điều đó được nêu rõ ràng. Trên Match.hr, nhãn tâm trắc của mỗi bài test hiển thị độ tin cậy kèm mẫu mà nó dựa vào, mục đích sử dụng và các phiên bản ngôn ngữ đã được phân tích.

Mối liên hệ với chuẩn và tính công bằng

Điểm số chỉ có thể diễn giải được khi đặt cạnh một nhóm so sánh, nên câu hỏi tiếp theo là nhóm chuẩn nào phù hợp với ứng viên của bạn và nhóm đó mới đến đâu; xem giải thích về nhóm chuẩn. Và một bài test có thể dự báo tốt ở mức trung bình nhưng lại hoạt động khác đi với một số nhóm, chẳng hạn khi một câu hỏi phụ thuộc vào ngôn ngữ hoặc kiến thức văn hóa không thuộc về điều nó cần đo. Trang công bằng và thiên lệch của chúng tôi trình bày cách kiểm tra điều đó.

Điểm số nhất quán được đọc như những khoảng, bằng chứng cho mục đích sử dụng cụ thể của bạn, một nhóm chuẩn phù hợp và các phân tích tính công bằng khi pháp luật cho phép: cùng nhau, chúng biến một bài test thành cơ sở vững chắc cho một quyết định cân nhắc của con người, chứ không thay thế cho quyết định đó.

Nguồn tham khảo

  • American Educational Research Association, American Psychological Association & National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association.
  • Sackett, P. R., Zhang, C., Berry, C. M. & Lievens, F. (2022). Revisiting meta-analytic estimates of validity in personnel selection: Addressing systematic overcorrection for restriction of range. Journal of Applied Psychology.

Câu hỏi thường gặp

Một bài test đáng tin cậy có tự động có hiệu lực không?

Không. Độ tin cậy chỉ nói rằng bài test đo lường nhất quán, không nói rằng nó đo điều gì đó liên quan đến quyết định của bạn. Tuy nhiên, nó đặt ra một mức trần: bài test càng kém tin cậy thì mối liên hệ của nó với bất kỳ kết quả nào càng yếu. Bạn cần cả hai, và độ hiệu lực mới là yếu tố trả lời câu hỏi bạn thực sự có.

Một bài test tuyển chọn nên có độ tin cậy bao nhiêu?

Không có một con số duy nhất. Quyết định về cá nhân đòi hỏi độ tin cậy cao hơn so với nghiên cứu ở cấp độ nhóm, và điểm số càng có trọng lượng thì yêu cầu càng cao. Thay vì chỉ kiểm tra xem một hệ số có vượt ngưỡng hay không, hãy xem sai số chuẩn của phép đo: nó cho thấy khoảng quanh một điểm số rộng bao nhiêu và liệu chênh lệch giữa các ứng viên của bạn có nằm trong khoảng đó hay không.

Chúng tôi có thể tự kiểm tra độ hiệu lực của một bài test trong tổ chức mình không?

Thường là có, nhưng cần lên kế hoạch. Một nghiên cứu tiêu chí tại chỗ cần một kết quả đầu ra phù hợp, được đo tốt và đủ số người: với mẫu nhỏ, hệ số tương quan dao động nhiều đến mức nói lên rất ít, và các nghiên cứu loại này thường cần vài trăm người tham gia. Nếu hiện tại điều đó chưa khả thi, hãy ghi lại kết quả test và các kết quả sau đó một cách nhất quán, để nghiên cứu trở nên khả thi khi dữ liệu tăng lên.

Có thể dùng bài test luyện tập cho tuyển chọn không?

Không. Bài test luyện tập, chẳng hạn như trên Assessment-Training.com, được tạo ra để giúp ứng viên chuẩn bị. Chúng không được xây dựng hay nghiên cứu như công cụ tuyển chọn, và điểm số của chúng không có cơ sở bằng chứng cho các quyết định về ứng viên.

Đánh giá ứng viên đầu tiên của bạn ngay hôm nay

Tài khoản miễn phí, không cần thẻ tín dụng, có kết quả sau vài phút.