Comprueba si tu prueba mide con equidad entre grupos
Los grupos pueden puntuar distinto por muchas razones. La investigación sobre equidad se pregunta si una prueba mide lo mismo y de la misma manera en todas las personas, y qué significa una diferencia de puntuación para las decisiones.
Los controles de equidad continuos en la plataforma se van construyendo prueba a prueba, en la medida en que haya datos de grupo obtenidos legalmente.
Tres niveles, tres análisis
El sesgo puede estar en un ítem, en una escala entera o en la forma de usar las puntuaciones. Cada nivel tiene su propio análisis.
Funcionamiento diferencial de los ítems
A nivel de ítem: ¿tienen las personas con el mismo nivel en el constructo una probabilidad distinta de responder un ítem de cierta manera según su grupo? El DIF señala los ítems que conviene revisar.
Invarianza de medida
A nivel de escala: ¿se mantiene el modelo factorial entre grupos o versiones lingüísticas, con las mismas cargas e interceptos? Sin invarianza, comparar las medias de los grupos no tiene sentido.
Impacto adverso
A nivel de decisión: ¿difieren las tasas de selección entre grupos con un punto de corte o en un proceso concretos? Reglas prácticas como la de los cuatro quintos son una señal para investigar, no una prueba de falta de equidad.
Datos de grupo solo donde la ley lo permite
Características como el origen étnico o la salud son categorías especiales de datos personales según el RGPD. Solo analizamos características de grupo cuando hay una base jurídica, una finalidad clara y garantías adecuadas.
- Una finalidad definida y una base jurídica para cada característica analizada
- Consentimiento explícito cuando se requiera, voluntario y separado de la evaluación
- Solo las características que la pregunta de investigación necesita
- Análisis sobre un conjunto de datos seudonimizado o anonimizado
- Resultados solo a nivel de grupo, con tamaños mínimos de grupo
- Los datos de grupo nunca intervienen en una puntuación o decisión individual
Cómo se desarrolla un estudio de equidad
Plantear la pregunta
¿Qué grupos, qué uso y qué decisión? Comprobamos contigo si los datos necesarios pueden recogerse o vincularse de forma legal.
Preparar los datos
Recoger características de grupo con consentimiento cuando haga falta, o usar datos existentes como la versión lingüística o el país, y comprobar que los grupos sean lo bastante grandes.
Analizar
Contrastar el DIF y la invarianza de medida y, cuando se conocen el proceso y el punto de corte, estudiar el impacto adverso.
Interpretar y actuar
Los ítems señalados se revisan con expertos en contenido y después se modifican, se eliminan o se mantienen con una justificación documentada. Tras los cambios, se repite el análisis.
Lo que estos análisis no pueden demostrar
Ningún análisis demuestra que una prueba esté libre de sesgo. Las pruebas de DIF e invarianza solo examinan los grupos medidos y, con grupos pequeños, tienen poca potencia: no encontrar DIF no equivale a que no lo haya. Una diferencia real entre grupos en el constructo no es en sí misma un sesgo, y una prueba sin sesgo de medida puede tener impacto adverso en un proceso concreto. Las decisiones siguen en manos de personas, que valoran las puntuaciones junto con otra información.
Preguntas frecuentes
¿Podéis certificar que nuestra prueba no tiene sesgo?
No, y desconfiaríamos de quien lo haga. Un estudio de equidad muestra si hay indicios de diferencias de medida en los grupos y los datos examinados. Informamos de qué se ha contrastado, con qué muestra y qué se ha encontrado, incluidos sus límites.
¿Qué grupos se pueden comparar?
Las versiones lingüísticas y los países suelen poder compararse con datos que la plataforma ya tiene. La edad y el sexo requieren una base jurídica y una finalidad clara. Las categorías especiales, como el origen étnico, requieren consentimiento explícito y garantías sólidas, y suelen estudiarse en una muestra de investigación aparte, no con datos de procesos de selección en curso.
¿Qué ocurre si un ítem muestra DIF?
No se elimina automáticamente. Expertos en contenido analizan por qué el ítem podría funcionar de otra manera, por ejemplo una expresión que no se traduce bien o un ejemplo más familiar para un grupo que para otro. Después se modifica, se elimina o se mantiene con una justificación documentada, y se repite el análisis.
¿El impacto adverso significa que una prueba no es equitativa?
No necesariamente, pero exige una buena explicación. Comprueba que lo que mide la prueba es relevante para el puesto, que el punto de corte está justificado y si combinarla con otras medidas reduce la diferencia. Según el derecho europeo de igualdad de trato, una práctica que perjudica a un grupo protegido debe estar justificada objetivamente; consulta con tu asesoría jurídica cuando sea el caso.
Más información
Evalúa hoy a tu primer candidato
Cuenta gratuita, sin tarjeta, resultados en minutos.