Psychométrie : mesurer l’esprit, et ses limites.

La théorie psychométrique modélise ce que des réponses observables permettent d’inférer sur un construit latent, par exemple une aptitude, un trait ou un symptôme. Un instrument est l’outil concret qui organise des items (les questions ou tâches proposées), une administration, une cotation (la façon d’attribuer les points) et une interprétation. La psychologie différentielle, enfin, étudie les variations entre personnes et groupes. Confondre ces trois niveaux conduit à rejeter une théorie de la mesure à cause d’un mauvais test, ou à prêter à un score des conclusions que son instrument ne justifie pas.

Le point de départ est une chaîne : construit, indicateurs observables, modèle de mesure, score, erreur et interprétation. Un score ne révèle pas directement une essence psychologique ; il résume des réponses selon des règles dont il faut évaluer la pertinence. La bonne question n’est donc pas seulement « le test est-il fiable ? », mais « quelle interprétation de ce score est soutenue, avec quelle incertitude, pour quelle population et quel usage ? ».

Développer une mesure suppose de distinguer le construit de ses voisins, de préciser le domaine à couvrir et de justifier le passage de la théorie aux indicateurs. Un plan de contenu, la liste des aspects du domaine que les items doivent couvrir, aide à vérifier que les items représentent le domaine plutôt qu’une fraction commode de celui-ci. Des experts peuvent ensuite examiner leur pertinence, leur représentativité et les angles morts du dispositif.

Les items sont générés, relus puis révisés pour éviter ambiguïtés, questions doubles, formulations inutilement complexes et redondance. Un item qui paraît élégant n’est pas nécessairement informatif ; un ensemble très homogène peut produire une cohérence élevée tout en couvrant trop étroitement le construit.

Les entretiens cognitifs, les observations de passation et les prétests permettent d’examiner si la personne comprend l’item, récupère l’information pertinente, porte le jugement attendu puis peut produire la réponse demandée. Cette source de preuve est essentielle : une corrélation favorable ne répare pas un item compris selon un processus différent de celui prévu par son concepteur.

Une étude pilote examine ensuite le fonctionnement concret des items : réponses manquantes, distributions, effets plancher ou plafond, difficulté excessive et faible information. La validation est progressive : développer, tester, réviser, documenter, réévaluer lorsque la population, la langue ou l’usage changent.

La cohérence interne concerne la relation entre items ; le test-retest, la stabilité à travers le temps ; l’accord inter-juges, la concordance de cotations. Un instrument n’a pas nécessairement besoin de toutes ces propriétés au même degré : une mesure d’état susceptible de changer rapidement ne se juge pas comme une mesure d’un trait supposé stable.

Cronbach alpha demeure un repère historique utile, mais ne démontre ni l’unidimensionnalité ni la validité. Il dépend notamment du nombre d’items et peut être élevé par leur redondance. Les coefficients omega, des indices de cohérence interne calculés à partir d’un modèle factoriel, peuvent être préférables lorsque ce modèle de mesure est défendable ; aucun coefficient n’est « toujours meilleur » indépendamment de la structure du score et de la question posée.

La théorie de la généralisabilité prolonge la théorie classique : au lieu d’une erreur globale, elle peut distinguer les contributions des personnes, items, occasions et évaluateurs. Elle aide à déterminer où une mesure perd sa précision et ce qu’il faudrait modifier pour l’améliorer.

Elle distingue aussi une décision relative (comparer des personnes entre elles) d’une décision absolue (les situer par rapport à un seuil). Un instrument peut convenir à la première sans être assez précis pour la seconde. Les détails techniques d’estimation appartiennent à la statistique ; ici, l’idée importante est que l’erreur a une structure.

Une variable latente est inférée de la façon dont les réponses s’organisent entre elles. Une charge factorielle indique la force de l’association estimée entre un item et un facteur dans un modèle donné. L’analyse factorielle exploratoire (EFA) sert à rechercher une structure lorsque celle-ci n’est pas assez établie : nombre de dimensions, façon de répartir les items entre les facteurs (rotations) et facteurs éventuellement corrélés. Le nombre de facteurs doit s’appuyer sur des critères empiriques adaptés, notamment l’analyse parallèle (comparer les facteurs obtenus à ceux que produiraient des données purement aléatoires), plutôt que sur une règle mécanique unique.

L’analyse factorielle confirmatoire (CFA) évalue une structure spécifiée à l’avance, sa compatibilité avec les données, ses résidus et sa comparaison à des modèles alternatifs. Lorsque la structure est incertaine, une démarche courante consiste à explorer puis à confirmer sur des données indépendantes. Lorsqu’un modèle est théoriquement fortement spécifié à l’avance, une approche confirmatoire directe peut être justifiée. Réaliser EFA et CFA sur exactement les mêmes données ne constitue pas une réplication indépendante.

L’analyse en composantes principales (PCA) résume l’information observée en composantes ; l’analyse factorielle modélise une variance commune attribuée à des facteurs latents. Elles ne sont donc pas synonymes, même si elles peuvent produire des résultats qui se ressemblent visuellement.

Un bon ajustement ne prouve pas qu’un construit existe comme entité naturelle unique : plusieurs modèles peuvent être compatibles avec les mêmes données. Les modèles bifactoriels, qui combinent un facteur général et des facteurs spécifiques, sont utiles dans certains cas, mais peuvent surajuster (s’ajuster à des particularités d’un jeu de données qui ne se reproduiront pas) ou produire des facteurs spécifiques faibles ; ils ne sont pas par principe supérieurs aux modèles hiérarchiques, qui regroupent les facteurs sous des facteurs plus généraux.

Le vocabulaire classique de validité de contenu, de critère et de construit reste utile historiquement, mais le cadre contemporain les réunit dans une argumentation. Le document de référence du champ, les Standards for Educational and Psychological Testing, distingue notamment les preuves liées au contenu, aux processus de réponse, à la structure interne et aux relations avec d’autres variables (convergence, divergence, prédiction et relations théoriquement attendues).

Les conséquences et les usages importent aussi. Une conséquence défavorable n’invalide pas automatiquement un construit, mais peut révéler une couverture insuffisante, une variance non pertinente (de la variabilité des scores qui ne vient pas du construit visé), un biais ou une décision mal justifiée. Un score valide pour un usage ne l’est pas automatiquement pour tous les autres.

La standardisation rend comparables les conditions de passation : consignes, matériel, temps, administration et cotation. L’étalonnage, ou les normes, compare ensuite un score brut à une population de référence. Scores z, scores T (deux échelles standardisées centrées sur la moyenne), percentiles et scores de QI sont des métriques différentes pour situer une performance, non des preuves de validité.

Un percentile n’est pas un pourcentage de bonnes réponses : il situe une performance par rapport à la distribution normative. La qualité des normes dépend de l’échantillon, de son âge, sa langue, sa scolarité, sa composition pertinente et sa période de collecte. Les effets plancher et plafond réduisent la discrimination là où le test manque d’information.

L’effet Flynn, l’augmentation moyenne des scores de QI au fil des générations, illustre qu’une distribution de scores peut évoluer dans le temps ; des normes obsolètes peuvent donc fausser l’interprétation même si l’administration est impeccable. Le phénomène ne suit ni un rythme uniforme ni une direction identique dans tous les pays, mais rappelle la nécessité de documenter et de mettre à jour les référentiels.

Standardisé ne signifie pas valide ; normé ne signifie pas valide ; et un score précis peut encore mesurer le mauvais construit. Ces garde-fous séparent la qualité de la mesure de la séduction d’un chiffre comparatif.

Une interprétation normative situe une personne relativement à une population de référence. Une interprétation critériée demande si sa performance satisfait un niveau ou un critère défini. Lorsqu’un score sert à classer une personne de part et d’autre d’un seuil, la question n’est plus seulement la précision du score mais aussi la stabilité de la décision produite.

Un score seuil, ou cut score, n’est pas automatiquement une frontière naturelle du construit. Sa justification dépend de l’usage, de la procédure qui l’a fixé, des conséquences des erreurs de classification et de la précision autour du seuil. La cohérence des décisions et la précision de classification deviennent alors aussi importantes que la fidélité globale du score.

L’invariance de mesure examine si une structure est suffisamment comparable : l’invariance configural concerne l’organisation générale de la structure, l’invariance métrique concerne les relations entre items et facteurs, et l’invariance scalaire concerne les comparaisons de moyennes latentes entre groupes. Pour des indicateurs continus, l’invariance scalaire concerne notamment l’égalité des niveaux de départ (les intercepts). Avec des réponses ordinales, comme les échelles de type « pas du tout d’accord, tout à fait d’accord », les seuils entre catégories de réponse jouent aussi un rôle central ; les conditions exactes de comparaison dépendent donc du type d’indicateur et du modèle utilisé. Ces niveaux sont des approximations utiles, non des tampons automatiques de justice.

Le fonctionnement différentiel des items (DIF) demande si, à niveau comparable de la caractéristique mesurée, un item fonctionne différemment selon les groupes. Il ne se confond ni avec une différence moyenne entre groupes, ni automatiquement avec un biais de mesure : un résultat statistique doit être interprété à la lumière du contenu et de l’usage.

Une adaptation transculturelle peut mobiliser traduction, retraduction vers la langue d’origine pour vérification (back-translation) lorsque pertinente, entretiens cognitifs, adaptation culturelle, validation empirique et normes appropriées. Une simple équivalence linguistique ne garantit ni l’équivalence des processus de réponse ni l’interprétabilité du score.

L’équité de la mesure, l’équité de la décision et l’impact disproportionné d’un système sont des questions distinctes. Une mesure sans biais détecté peut être intégrée à une décision injuste ; les critères d’équité algorithmique (fairness) ne remplacent ni la validation du score ni une délibération explicite sur les valeurs en jeu.

Un test adaptatif n’applique pas simplement « bonne réponse, item plus difficile ». Il estime progressivement le niveau latent puis sélectionne, parmi les items disponibles, ceux qui sont les plus informatifs compte tenu de contraintes de contenu, d’exposition et de sécurité.

La calibration (l’estimation des paramètres de chaque item) alimente des banques d’items. La mise en relation (linking) place ensuite des scores ou des paramètres issus de formes différentes sur une métrique commune. L’égalisation des scores entre deux formes de test (equating) constitue un cas plus exigeant : elle vise, lorsque ses conditions sont satisfaites, des scores réellement interchangeables. Une mise sur une même échelle ne suffit donc pas automatiquement à rendre deux scores équivalents. L’IRT apporte ici un gain réel pour certains programmes de test ; elle ne rend pas obsolète la théorie classique ni les preuves de validité.

L’échelle Binet-Simon de 1905 inaugure une évaluation moderne ; ses révisions ultérieures organisent plus explicitement les performances par niveau d’âge, d’où la notion d’âge mental. Un facteur général commun aux différentes tâches cognitives (le facteur g) est largement retrouvé dans des populations culturellement diverses, mais son interprétation reste discutée. Le cadre CHC, qui organise les capacités cognitives en strates, est influent et bien soutenu, sans constituer une description définitivement arrêtée : sa structure précise et le statut de g restent débattus.

Les échelles de Wechsler évoluent entre éditions et offrent aujourd’hui plusieurs indices spécifiques en plus d’un score global. Des écarts entre indices peuvent apporter une information complémentaire lorsque leur fidélité et leur validité le permettent ; ils ne sont pas, à eux seuls, des signatures diagnostiques. Les Big Five, dont la conscienciosité est un facteur, offrent une structure descriptive robuste de la personnalité, mais pas une théorie causale complète.

En éducation, en recrutement et en clinique, un test constitue un élément parmi histoire, observation, autres mesures et contexte. Un test cognitif ne suffit pas à repérer à lui seul un trouble des apprentissages ; un score ne devrait pas davantage devenir le fondement administratif isolé d’une décision qui engage des droits ou des soins.

Les usages de sélection exigent des preuves adaptées à la prédiction visée et une attention à leurs conséquences. Les critères techniques d’équité et les outils de recrutement automatisés restent ici des enjeux d’application : ils ne sont ni une définition de la psychométrie, ni un substitut à la validité de l’inférence.

Francis Galton a joué un rôle fondateur dans le développement des idées de corrélation et de régression ; Karl Pearson et d’autres ont ensuite formalisé plusieurs outils statistiques aujourd’hui utilisés. Galton a également forgé le terme « eugénisme » et défendu un programme de hiérarchisation reproductive qui doit être nommé sans euphémisme.

Les tests administrés en masse aux recrues américaines de la Première Guerre mondiale (Army Alpha et Beta), les usages des scores de tests dans les arguments eugénistes et restrictionnistes sur l’immigration et l’arrêt Buck v. Bell, qui a validé une stérilisation forcée aux États-Unis : ces épisodes montrent comment des évaluations inadéquates et des interprétations racialisées ont soutenu des décisions coercitives. Cette histoire ne discrédite pas automatiquement toute mesure ; elle interdit de faire d’un score une preuve de valeur humaine ou un alibi pour une décision injuste.

Le MBTI peut offrir un langage de discussion si ses limites sont explicitées, mais sa conversion de dimensions continues en seize types ne fournit pas une base suffisamment solide pour le recrutement, l’orientation ou la clinique. La popularité, la fidélité acceptable de certaines échelles ou la facilité d’interprétation ne suffisent pas à établir la validité de la typologie ni son utilité pour le recrutement, l’orientation ou la clinique.

De même, l’héritabilité intra-groupe ne permet pas d’inférer la cause d’un écart moyen entre groupes. Certaines études, surtout américaines, ont observé une interaction entre contexte socio-économique et héritabilité cognitive, mais elle ne se réplique pas uniformément selon les pays et les plans d’étude. Les explications génétiques simples des écarts sociaux ne sont pas établies.