Fidélité et validité : l'essentiel pour les professionnels RH

Pourquoi ces deux notions comptent quand vous choisissez un test

Un test vous donne un chiffre sur lequel s'appuie une décision concernant une personne. Il n'est utile qu'à deux conditions. Il doit être constant : mesurée deux fois dans les mêmes conditions, la même personne doit obtenir à peu près le même résultat. Et il doit avoir un sens pour la décision : un score plus élevé doit aller de pair avec davantage de ce qui compte dans le poste.

La première condition, c'est la fidélité ; la seconde, la validité. Un test peut être très fidèle et mesurer pourtant quelque chose sans rapport avec le poste. L'inverse est impossible : un test aux résultats instables ne peut rien prédire de façon constante. La fidélité est une condition de la validité, pas un substitut.

La fidélité : le score est-il constant ?

La fidélité s'exprime par un coefficient compris entre 0 et 1. Il en existe plusieurs types, qui répondent à des questions différentes.

Fidélité test-retest

Les mêmes personnes passent le test deux fois. Une corrélation élevée signifie que les scores sont stables dans le temps, ce qui compte pour des caractéristiques censées l'être, comme la personnalité. L'intervalle a son importance : trop court, les personnes se souviennent de leurs réponses ; trop long, de vrais changements s'y mêlent.

Cohérence interne

Les items d'une échelle mesurent-ils la même chose ? L'indice habituel est l'alpha de Cronbach ; l'oméga de McDonald convient souvent mieux lorsque les items reflètent le construit avec une intensité inégale. Selon une règle empirique souvent citée, environ .70 peut suffire pour une recherche sur des groupes, mais les décisions individuelles exigent nettement plus. Les modèles d'évaluation des tests fixent leurs seuils selon l'enjeu ; voir les critères de qualité des tests.

Fidélité inter-juges

Lorsque des évaluateurs, et non une grille de correction, attribuent le score, comme en entretien ou en assessment center, la question est de savoir s'ils aboutissent à la même note. On la rapporte sous forme de corrélation intraclasse ou de kappa de Cohen. Des questions structurées, des échelles ancrées sur des comportements et la formation des évaluateurs l'améliorent.

L'erreur type de mesure

Pour une personne, plus utile que le coefficient de fidélité est l'erreur type de mesure : l'écart type de l'échelle multiplié par la racine carrée de un moins la fidélité. Elle indique de combien un score observé peut s'écarter de celui que la personne obtiendrait sans erreur de mesure.

La validité : le score veut-il dire ce dont vous avez besoin ?

La validité est la plus importante des deux notions. Les standards professionnels actuels n'en font pas une propriété figée du test, mais le degré auquel les preuves soutiennent une interprétation donnée des scores pour un usage donné. La question utile n'est donc pas de savoir si un test est valide, mais : valide pour quoi, pour qui et dans quelle langue ?

Validité de contenu

Les items couvrent-ils ce qui compte dans le poste, et seulement cela ? Ce sont généralement des experts du domaine qui en jugent, par exemple en comparant les tâches d'un test de compétences avec l'analyse du poste.

Validité de construit

Le test mesure-t-il ce qu'il prétend mesurer ? Les preuves comprennent la structure factorielle, les liens avec des mesures proches et différentes, et la tenue de la structure dans chaque version linguistique. Sans elles, vous ignorez ce que recouvre le nom d'une échelle.

Validité de critère et validité prédictive

Les scores sont-ils liés à des résultats qui comptent, comme la performance, la réussite en formation ou la fidélisation ? Dans un plan prédictif, on évalue à l'embauche et on mesure le résultat plus tard. Dans un plan concourant, on évalue des salariés en poste. C'est plus rapide, mais ce groupe a déjà été sélectionné, ce qui tend à réduire les corrélations. Le critère compte aussi : une évaluation de la performance floue ou peu cohérente plafonne tout coefficient de validité.

À partir de quand est-ce bon ? Lire les coefficients de validité

La validité de critère s'exprime généralement par une corrélation, et en sélection du personnel ces corrélations sont modestes. C'est normal : la performance dépend de nombreux facteurs qu'un test ne saisit pas, de l'équipe à la vie hors travail. Dans ce domaine, une corrélation autour de .30 est un résultat significatif.

Sackett, Zhang, Berry et Lievens (2022) ont réexaminé les données méta-analytiques et abouti à des estimations plus prudentes que des chiffres plus anciens, encore souvent cités, surtout parce qu'ils ont jugé trop fortes les corrections pour restriction de l'étendue. Parmi leurs estimations :

• Entretiens structurés : environ .42
• Aptitude cognitive générale : environ .31
• Caractère consciencieux : environ .19

Trois enseignements en découlent. Ce sont des moyennes sur de nombreuses études et de nombreux métiers, corrigées des artefacts statistiques ; un test donné peut faire mieux ou moins bien dans votre contexte. Toutes sont nettement supérieures à zéro : appliquée de façon cohérente sur de nombreuses décisions, même une validité modeste améliore le résultat moyen par rapport à un jugement non structuré. Enfin, des méthodes qui mesurent des choses différentes apportent de l'information. L'aptitude cognitive et le caractère consciencieux ne sont que faiblement liés, si bien que leur combinaison prédit en général mieux que chacun isolément. Pour la même raison, utilisez des tests d'aptitudes cognitives en complément d'un entretien structuré, et non à sa place.

Lire un manuel technique : les questions à poser

Un chiffre dans une brochure dit peu de chose sans son contexte, et un bon manuel technique fournit ce contexte. Ces questions vous aideront à le lire ou à interroger un fournisseur.

• Quel type de fidélité est rapporté, et l'erreur type de mesure est-elle indiquée ?
• Quelle était la taille de l'échantillon, et qui le composait : pays, langue, niveau de poste ? Des coefficients calculés sur quelques dizaines de personnes sont instables.
• À quelle version linguistique les preuves se rapportent-elles ? Une traduction doit être vérifiée sur ses propres données.
• Quel était le critère dans les études de validité, comment a-t-il été mesuré, et le plan était-il prédictif ou concourant ?
• Pour quel usage les preuves valent-elles : sélection, développement, une famille de postes précise ?
• Sont-elles récentes, et que dit le manuel de ce qui n'a pas encore été étudié ?

« Le test est validé », sans préciser pour quoi, auprès de qui et avec quels chiffres, ne répond pas à la question. Des preuves incomplètes ne posent pas problème si c'est dit clairement. Sur Match.hr, l'étiquette psychométrique de chaque test indique la fidélité avec l'échantillon sur lequel elle repose, l'usage prévu et les versions linguistiques analysées.

Le lien avec l'étalonnage et l'équité

Un score ne s'interprète qu'au regard d'un groupe de comparaison : lequel correspond à vos candidats, et est-il récent ? Voir l'étalonnage et les normes expliqués. Par ailleurs, un test peut bien prédire en moyenne tout en fonctionnant différemment pour certains groupes, par exemple lorsqu'un item repose sur des connaissances linguistiques ou culturelles étrangères à ce qu'il doit mesurer. Notre page équité et biais explique comment on l'examine.

Des scores constants lus comme des intervalles, des preuves pour votre usage précis, un groupe de référence adapté et des analyses d'équité là où la loi le permet : ensemble, ils font d'un test une base solide pour une décision réfléchie prise par une personne, sans jamais la remplacer.