Vérifiez si votre test mesure équitablement d'un groupe à l'autre
Des groupes peuvent obtenir des scores différents pour de nombreuses raisons. La recherche sur l'équité se demande si un test mesure la même chose de la même manière pour tous, et ce qu'un écart de scores signifie pour les décisions.
Les contrôles d'équité continus sur la plateforme se mettent en place test par test, dans la mesure où des données de groupe licites sont disponibles.
Trois niveaux, trois analyses
Un biais peut se loger dans un item, dans une échelle entière ou dans la manière d'utiliser les scores. Chaque niveau a son analyse.
Fonctionnement différentiel des items
Au niveau de l'item : des personnes de même niveau sur le construit ont-elles une probabilité différente de répondre d'une certaine façon selon leur groupe ? Le DIF signale les items à réexaminer.
Invariance de mesure
Au niveau de l'échelle : le modèle factoriel tient-il d'un groupe ou d'une version linguistique à l'autre, avec les mêmes saturations et ordonnées à l'origine ? Sans invariance, comparer les moyennes des groupes n'a pas de sens.
Impact défavorable
Au niveau de la décision : les taux de sélection diffèrent-ils entre groupes pour un seuil ou une procédure donnés ? Des règles empiriques comme celle des quatre cinquièmes invitent à examiner la situation, elles ne prouvent pas une iniquité.
Des données de groupe seulement si le droit le permet
Des caractéristiques comme l'origine ethnique ou la santé sont des catégories particulières de données au sens du RGPD. Nous n'analysons des caractéristiques de groupe qu'avec une base légale, une finalité claire et des garanties appropriées.
- Une finalité définie et une base légale pour chaque caractéristique analysée
- Un consentement explicite lorsqu'il est requis, libre et distinct de l'évaluation
- Uniquement les caractéristiques nécessaires à la question posée
- Une analyse sur un jeu de données pseudonymisé ou anonymisé
- Des résultats au niveau des groupes uniquement, avec des effectifs minimaux
- Des données de groupe jamais prises en compte dans un score ou une décision individuels
Le déroulement d'une étude d'équité
Poser la question
Quels groupes, quel usage, quelle décision ? Nous vérifions avec vous si les données nécessaires peuvent être collectées ou rapprochées de façon licite.
Préparer les données
Recueillir les caractéristiques de groupe avec consentement si nécessaire, ou utiliser des données existantes comme la version linguistique ou le pays, et vérifier que les groupes sont assez grands.
Analyser
Tester le DIF et l'invariance de mesure et, lorsque la procédure et le seuil sont connus, examiner l'impact défavorable.
Interpréter et agir
Les items signalés sont examinés avec des experts du contenu, puis révisés, retirés ou conservés pour une raison documentée. L'analyse est refaite après les modifications.
Ce que ces analyses ne peuvent pas montrer
Aucune analyse ne prouve qu'un test est exempt de biais. Les tests de DIF et d'invariance ne portent que sur les groupes mesurés et, avec de petits groupes, leur puissance est faible : ne pas trouver de DIF ne signifie pas qu'il n'y en a pas. Une différence réelle entre groupes sur le construit n'est pas en soi un biais, et un test sans biais de mesure peut tout de même produire un impact défavorable dans une procédure donnée. Les décisions restent aux mains de personnes, qui pèsent les scores avec d'autres informations.
Questions fréquentes
Pouvez-vous certifier que notre test est sans biais ?
Non, et nous nous méfierions de quiconque le ferait. Une étude d'équité montre s'il existe des indices de différences de mesure pour les groupes et les données examinés. Nous indiquons ce qui a été testé, avec quel échantillon et ce qui a été trouvé, limites comprises.
Quels groupes peut-on comparer ?
Les versions linguistiques et les pays peuvent souvent être comparés avec des données dont la plateforme dispose déjà. L'âge et le sexe exigent une base légale et une finalité claire. Les catégories particulières, comme l'origine ethnique, exigent un consentement explicite et des garanties solides, et sont en général étudiées dans un échantillon de recherche distinct plutôt que dans des données de sélection en cours.
Que se passe-t-il si un item présente un DIF ?
Il n'est pas retiré automatiquement. Des experts du contenu cherchent pourquoi l'item pourrait fonctionner différemment, par exemple une expression qui se traduit mal ou un exemple plus familier à un groupe qu'à un autre. L'item est ensuite révisé, retiré ou conservé pour une raison documentée, et l'analyse est refaite.
Un impact défavorable signifie-t-il qu'un test est inéquitable ?
Pas forcément, mais il demande une bonne explication. Vérifiez que ce que mesure le test est pertinent pour le poste, que le seuil est justifié et si la combinaison avec d'autres mesures réduit l'écart. En droit européen de l'égalité de traitement, une pratique qui désavantage un groupe protégé doit être objectivement justifiée ; associez votre conseil juridique lorsque c'est le cas.
Pour aller plus loin
Évaluez votre premier candidat dès aujourd'hui
Compte gratuit, sans carte bancaire, résultats en quelques minutes.