Kiểm tra xem bài test của bạn có đo lường công bằng giữa các nhóm không
Các nhóm có thể khác nhau về điểm số vì nhiều lý do. Nghiên cứu về tính công bằng đặt câu hỏi liệu bài test có đo cùng một điều theo cùng một cách cho tất cả mọi người hay không, và một khác biệt về điểm có ý nghĩa gì đối với quyết định.
Việc kiểm tra tính công bằng liên tục trên nền tảng đang được xây dựng dần cho từng bài test, trong phạm vi có dữ liệu nhóm hợp pháp.
Ba cấp độ, ba phân tích
Thiên lệch có thể nằm ở một câu hỏi đơn lẻ, ở cả một thang đo hoặc ở cách sử dụng điểm số. Mỗi cấp độ có phân tích riêng.
Chức năng câu hỏi khác biệt (DIF)
Ở cấp độ câu hỏi: những người có cùng mức độ về cấu trúc được đo có khả năng trả lời một câu hỏi theo một cách nhất định khác nhau tùy theo nhóm của họ không? DIF chỉ ra những câu hỏi đáng được xem xét lại.
Tính bất biến đo lường
Ở cấp độ thang đo: mô hình nhân tố có đứng vững giữa các nhóm hoặc các phiên bản ngôn ngữ, với cùng hệ số tải và hệ số chặn không? Nếu không có tính bất biến, việc so sánh điểm trung bình giữa các nhóm không có ý nghĩa.
Tác động bất lợi
Ở cấp độ quyết định: tỷ lệ được chọn có khác nhau giữa các nhóm tại một ngưỡng điểm hoặc trong một quy trình nhất định không? Các quy tắc kinh nghiệm như quy tắc bốn phần năm là tín hiệu cần điều tra, không phải bằng chứng về sự bất công.
Chỉ dùng dữ liệu nhóm khi hợp pháp
Các đặc điểm như nguồn gốc dân tộc hay sức khỏe là các loại dữ liệu cá nhân đặc biệt theo GDPR. Chúng tôi chỉ phân tích đặc điểm nhóm khi có cơ sở pháp lý, mục đích rõ ràng và biện pháp bảo vệ thích đáng.
- Mục đích xác định và cơ sở pháp lý cho từng đặc điểm được phân tích
- Sự đồng ý rõ ràng khi cần thiết, tự nguyện và tách biệt khỏi chính bài đánh giá
- Chỉ những đặc điểm mà câu hỏi nghiên cứu thực sự cần
- Phân tích trên bộ dữ liệu đã được bí danh hóa hoặc ẩn danh hóa
- Kết quả chỉ báo cáo ở cấp độ nhóm, với quy mô nhóm tối thiểu
- Dữ liệu nhóm không bao giờ được dùng trong điểm số hay quyết định cá nhân
Một nghiên cứu về tính công bằng diễn ra như thế nào
Xác định câu hỏi
Những nhóm nào, mục đích sử dụng nào và quyết định nào? Chúng tôi cùng bạn kiểm tra xem dữ liệu cần thiết có thể được thu thập hoặc liên kết một cách hợp pháp không.
Chuẩn bị dữ liệu
Thu thập đặc điểm nhóm với sự đồng ý khi cần, hoặc dùng dữ liệu sẵn có như phiên bản ngôn ngữ hay quốc gia, và kiểm tra xem các nhóm có đủ lớn không.
Phân tích
Kiểm định DIF và tính bất biến đo lường, và khi đã biết quy trình và ngưỡng điểm, xem xét tác động bất lợi.
Diễn giải và hành động
Các câu hỏi bị gắn cờ được xem xét cùng chuyên gia nội dung, sau đó được sửa, loại bỏ hoặc giữ lại kèm lý do được ghi nhận. Phân tích được lặp lại sau khi thay đổi.
Những gì các phân tích này không chứng minh được
Không phân tích nào chứng minh được một bài test hoàn toàn không có thiên lệch. Kiểm định DIF và tính bất biến chỉ xem xét các nhóm đã được đo, và với nhóm nhỏ thì chúng có rất ít độ mạnh thống kê, nên việc không phát hiện DIF không có nghĩa là không có DIF. Một khác biệt thực sự giữa các nhóm về cấu trúc được đo tự nó không phải là thiên lệch, và một bài test không có thiên lệch đo lường vẫn có thể gây tác động bất lợi trong một quy trình cụ thể. Quyết định vẫn thuộc về con người, những người cân nhắc điểm test cùng với các thông tin khác.
Câu hỏi thường gặp
Các bạn có thể chứng nhận bài test của chúng tôi không có thiên lệch không?
Không, và chúng tôi sẽ thận trọng với bất kỳ ai làm điều đó. Một nghiên cứu về tính công bằng cho thấy có hay không bằng chứng về khác biệt đo lường đối với các nhóm và dữ liệu được xem xét. Chúng tôi báo cáo những gì đã được kiểm định, với mẫu nào và đã phát hiện được gì, kể cả các giới hạn.
Có thể so sánh những nhóm nào?
Các phiên bản ngôn ngữ và quốc gia thường có thể được so sánh bằng dữ liệu mà nền tảng đã có. Độ tuổi và giới tính cần cơ sở pháp lý và mục đích rõ ràng. Các loại dữ liệu đặc biệt như nguồn gốc dân tộc cần sự đồng ý rõ ràng và biện pháp bảo vệ chặt chẽ, và thường được nghiên cứu trong một mẫu nghiên cứu riêng thay vì trong dữ liệu tuyển chọn thực tế.
Điều gì xảy ra nếu một câu hỏi cho thấy DIF?
Câu hỏi đó không bị loại bỏ tự động. Chuyên gia nội dung xem xét vì sao câu hỏi có thể hoạt động khác nhau, chẳng hạn một thành ngữ không dịch được hoặc một ví dụ quen thuộc hơn với một nhóm. Sau đó câu hỏi được sửa, loại bỏ hoặc giữ lại kèm lý do được ghi nhận, và phân tích được lặp lại.
Tác động bất lợi có nghĩa là bài test không công bằng không?
Không nhất thiết, nhưng cần có lời giải thích thỏa đáng. Hãy kiểm tra xem điều bài test đo lường có liên quan đến vị trí không, ngưỡng điểm có được biện minh không và việc kết hợp với các phép đo khác có làm giảm khác biệt không. Theo luật đối xử bình đẳng của EU, một thực tiễn gây bất lợi cho một nhóm được bảo vệ phải được biện minh một cách khách quan, vì vậy hãy tham vấn cố vấn pháp lý của bạn khi điều này áp dụng.
Trang liên quan
Đánh giá ứng viên đầu tiên của bạn ngay hôm nay
Tài khoản miễn phí, không cần thẻ tín dụng, có kết quả sau vài phút.