Étalonnage et normes : bien interpréter un score de test

Un score brut a besoin d'un groupe de comparaison

Le score brut est le nombre de bonnes réponses à un test d'aptitudes, ou la somme des réponses à une échelle de personnalité. Isolé, il dit peu : 27 sur 40 peut être excellent à un test difficile et ordinaire à un test facile, et une échelle de personnalité n'a pas de total juste.

L'étalonnage traduit le score brut en une position au sein d'un groupe de référence : des personnes qui ont passé le même test dans des conditions comparables. Cette position est relative. Elle indique où une personne se situe par rapport à ce groupe, pas si elle convient à un poste. Cela dépend des exigences du poste et de preuves que le test prédit ce qui compte (voir fidélité et validité).

Les échelles d'étalonnage et leurs correspondances

La plupart des échelles expriment la même chose : l'écart d'un score par rapport à la moyenne du groupe de référence, en écarts-types (ET). Elles diffèrent par leur moyenne, leur dispersion et leur finesse.

• Notes z : moyenne 0, ET 1. La base des autres échelles, rarement présentée dans les rapports.
• Notes T : moyenne 50, ET 10. Environ deux tiers du groupe de référence se situent entre 40 et 60.
• Stens : de 1 à 10, moyenne 5,5, ET 2. Fréquents dans les rapports de personnalité.
• Stanines : de 1 à 9, moyenne 5, ET 2. Fréquents pour les tests d'aptitudes.
• Centiles : le pourcentage du groupe de référence ayant obtenu un score inférieur. Intuitifs, mais leurs écarts ne sont pas égaux.

Prudence avec les centiles

Les centiles étirent les écarts au centre de la distribution et les compriment aux extrémités. Passer du 50e au 60e centile demande une petite différence de score brut ; passer du 90e au 99e, une grande. Évitez donc de faire la moyenne de centiles. Même sur des échelles plus grossières comme les stens, un point d'écart entre deux candidats reste souvent dans l'erreur de mesure.

Expliquer un score à un manager

Les centiles sont généralement les plus simples : sur 100 personnes de ce groupe de comparaison, environ 80 ont obtenu un score inférieur. Nommez le groupe dans la même phrase et précisez qu'un score est une estimation : l'intervalle de confiance du rapport indique où se situe probablement le score vrai. Pour la personnalité, ajoutez qu'un score élevé ou faible n'est ni bon ni mauvais en soi.

Choisir le bon groupe de référence

Choisissez le groupe auquel vous voulez réellement comparer.

• Population générale ou active : utile pour un premier tri large et pour le développement, mais en recrutement sur des postes de niveau élevé presque tout le monde paraît au-dessus de la moyenne.
• Étalonnages par niveau d'études ou de poste : des personnes de niveau comparable, par exemple formation professionnelle, diplôme du supérieur ou encadrement. En général la meilleure référence pour le recrutement.
• Étalonnages de candidats : recueillis lors de vraies procédures de recrutement. Aux questionnaires de personnalité, les candidats ont tendance à se décrire plus favorablement que des personnes sans enjeu.
• Étalonnages de salariés ou d'entreprise : utiles pour le développement. En recrutement, ils reportent les choix de sélection passés sur les nouvelles décisions, et ils sont souvent petits.

Pays et langue

Un étalonnage appartient à une version précise du test. Une traduction peut modifier le fonctionnement des items et les styles de réponse varient d'un pays à l'autre : l'étalonnage d'une version linguistique ne vaut donc pas d'office pour une autre. Si des candidats passent des versions différentes, vérifiez que le manuel fournit un étalonnage par version et montre qu'elles mesurent la même chose.

Les effets d'un mauvais étalonnage

Un groupe trop large gonfle les scores ; un groupe trop sélectif fait paraître moyens de bons candidats. Mélanger les étalonnages dans une même procédure est pire encore, car des candidats comparés à des groupes différents ne peuvent plus être comparés entre eux. Utilisez un seul étalonnage par procédure et consignez lequel.

Quelle est la qualité de l'étalonnage lui-même ?

Un étalonnage est un échantillon, avec les faiblesses de tout échantillon. Avant de vous y fier, vérifiez les points suivants.

• Taille : il n'existe pas de minimum unique. Plusieurs centaines de personnes par groupe de référence constituent un point de départ courant ; des centiles extrêmes stables en demandent davantage.
• Composition : le groupe ressemble-t-il aux personnes évaluées en niveau, secteur, région, âge et sexe ? Un grand échantillon déséquilibré ne vaut pas mieux qu'un petit bien composé.
• Actualité : la population et les habitudes face aux tests évoluent. Sachez quand les données ont été recueillies et méfiez-vous des étalonnages anciens de nombreuses années.
• Recueil : candidats, salariés, ou volontaires et étudiants ? L'enjeu, la surveillance et l'appareil utilisé influencent les scores.

Un bon manuel technique rend compte de tout cela, ainsi que des statistiques descriptives, de la méthode de conversion et de l'erreur type de mesure. Les systèmes d'évaluation des tests comme ceux du COTAN et de l'EFPA examinent l'étalonnage comme un critère à part ; le guide sur les critères de qualité des tests explique comment. Sur Match.hr, l'étiquette de chaque test indique la taille des échantillons d'étalonnage et la date du dernier calcul, et chaque rapport précise l'étalonnage utilisé (voir étalonnage).

Étalonnage et équité

Des groupes peuvent différer en moyenne. On est alors tenté de donner à chaque groupe son propre étalonnage, pour que les femmes ne soient comparées qu'à des femmes ou les candidats plus âgés qu'à leurs pairs. Pour les versions linguistiques, ils sont souvent nécessaires. Pour le sexe, l'âge ou l'origine ethnique, ils ne sont généralement pas la solution en recrutement.

• Un même score brut donnerait un score étalonné différent selon le groupe de la personne, ce qui peut constituer une inégalité de traitement.
• Ils masquent un écart au lieu de l'expliquer. Il peut venir d'items biaisés, d'une différence réelle dans ce qui est mesuré ou de l'usage du test, et chaque cause appelle une réponse différente.
• L'origine ethnique relève des catégories particulières de données au sens du RGPD et ne peut souvent même pas être recueillie en recrutement.

Mieux vaut examiner directement les biais : fonctionnement différentiel des items, invariance de mesure entre groupes et versions linguistiques, et impact défavorable aux seuils utilisés. Vérifiez ensuite que ce que mesure le test est pertinent pour le poste. La page équité et biais présente ces analyses.

Liste de contrôle avant de lire un rapport

• Quel étalonnage est indiqué, et correspond-il au niveau, au pays et à la langue du poste ?
• Quelle est la taille du groupe de référence, comment et quand a-t-il été recueilli ?
• La personne a-t-elle passé la même version, dans la même langue et avec la même surveillance que le groupe de référence ?
• Les écarts entre candidats dépassent-ils l'intervalle de confiance ?
• Tous les candidats de la procédure sont-ils comparés au même étalonnage ?
• Pour la personnalité : lisez-vous élevé et faible comme des positions, et non comme bon et mauvais ?
• Que savez-vous d'autre ? Un score s'ajoute aux entretiens, aux mises en situation et aux références, et c'est une personne qui décide.

Sans réponse dans le rapport ou le manuel, interrogez l'éditeur avant de vous fier aux scores.