Méthodologie : comment la psychologie produit des connaissances.

Explorer sert à repérer un motif, générer une hypothèse ou comprendre un terrain encore mal décrit. Confirmer met à l’épreuve une prédiction annoncée à l’avance. Réviser consiste à modifier une théorie lorsque les résultats, leurs limites ou des données nouvelles l’exigent. Ces usages sont tous légitimes ; les confondre rend une découverte exploratoire artificiellement certaine.

Une étude isolée est rarement le dernier mot. La solidité d’une affirmation dépend aussi de la qualité de ses réplications, de la convergence de méthodes différentes et de la façon dont les résultats négatifs ou ambigus ont été rendus visibles.

Un construit est une notion théorique ; une opérationnalisation est la règle pratique qui permet de l’étudier. Un questionnaire de stress, une fréquence cardiaque et un entretien peuvent renseigner des dimensions liées, sans être interchangeables ni épuiser le même phénomène. La mesure est donc une décision théorique autant qu’une étape technique.

La psychométrie examine notamment la fiabilité, la structure et la validité des instruments. Ici, la question plus large est : cette opération permet-elle réellement de soutenir l’interprétation annoncée, dans cette population et pour cet usage ? Une étiquette familière ne garantit pas que deux études ont étudié le même objet.

La validité n’est pas un tampon apposé une fois pour toutes sur un test ou une tâche. Elle s’accumule par des éléments de preuve : couverture du domaine, liens attendus avec d’autres mesures, distinction avec des construits voisins, fonctionnement selon les groupes, et pertinence de l’interprétation proposée.

Multiplier les indicateurs ne résout pas automatiquement le problème : ils peuvent partager les mêmes angles morts. Mais la convergence entre méthodes, auto-rapports, comportements, observations, entretiens ou données administratives, rend plus difficile qu’un résultat dépende d’un artefact unique. Les effets de demande, la désirabilité sociale, les attentes de l’expérimentateur et les règles d’exclusion font partie de cette discussion.

Les enquêtes, observations, cohortes et études transversales décrivent des distributions et des associations. Elles sont indispensables pour documenter une population, générer des hypothèses, suivre une trajectoire ou repérer une inégalité. Elles ne suffisent pas, à elles seules, à départager cause, conséquence, variable commune et sélection des personnes dans les contextes.

Une grande taille d’échantillon réduit certaines incertitudes d’estimation, mais ne corrige ni une mesure inadéquate, ni un biais de sélection, ni une question mal posée. Un résultat très précis peut ainsi être très précisément biaisé.

L’expérience répartit idéalement les conditions par assignation aléatoire afin de rendre comparables, en moyenne, les groupes avant l’intervention. Elle renforce l’inférence causale sur ce qui a été manipulé, dans les conditions de l’étude. Elle ne garantit ni que la manipulation représente bien le concept visé, ni que son effet se généralise partout.

Lorsque l’assignation aléatoire est impossible, certaines stratégies quasi-expérimentales, par exemple les séries temporelles interrompues ou les discontinuités de régression, peuvent renforcer l’inférence causale sous des hypothèses explicites. Les suivis longitudinaux apportent quant à eux de l’information sur l’ordre temporel et les trajectoires, sans suffire à eux seuls à établir une causalité. Certains plans expérimentaux à cas unique permettent également des inférences causales à l’échelle individuelle.

Dire qu’une intervention a un effet revient à comparer ce qui se produit avec elle à ce qui se serait produit, au même moment, sans elle. Comme une personne ne peut pas vivre simultanément ces deux versions de la situation, un plan doit construire une comparaison crédible entre groupes, moments ou unités. L’assignation aléatoire est une stratégie forte ; elle n’est pas la seule, et n’exonère pas d’examiner l’attrition (les sorties d’étude), l’adhésion et la qualité de la manipulation.

Les diagrammes causaux rendent utilement visible ce qui est supposé : causes communes, médiateurs, collidants (ou variables de collision) et variables sélectionnées. Ajuster « pour tout ce qui est disponible » peut créer autant de biais qu’il prétend en éviter. Une variable de contrôle est une hypothèse sur le processus causal, pas une décoration de tableau.

Un mécanisme indique comment une intervention ou une exposition produit un effet. Montrer qu’une variable se situe statistiquement entre deux autres peut être informatif, mais ne suffit pas à établir qu’elle est le mécanisme : des causes communes, une mesure concomitante ou un ordre temporel mal établi peuvent produire le même motif.

Une explication gagne en crédibilité lorsqu’elle prédit plusieurs observations, résiste à des mesures et contextes différents, et que ses composantes peuvent être mises à l’épreuve. Le mot « médiateur » ne doit pas devenir un substitut rhétorique à cette démonstration.

Un échantillon de volontaires en ligne, d’étudiants, de patients recrutés dans un service ou de salariés d’une organisation renseigne d’abord la population dont il provient. Les échantillons dits WEIRD, occidentaux, éduqués, industrialisés, riches et démocratiques, ont alimenté une part disproportionnée de la littérature psychologique. Ce constat n’invalide pas les résultats ; il oblige à préciser leurs limites de transport.

Âge, langue, culture, position sociale, contexte institutionnel et période historique peuvent modifier le phénomène, sa mesure ou son sens. La diversité ne consiste donc pas à ajouter quelques variables démographiques en fin d’analyse : elle doit orienter les questions, le recrutement, la mesure et l’interprétation.

Une réplication dans un nouveau laboratoire, une étude multi-site, un échantillonnage probabiliste lorsque cela est pertinent, ou une comparaison explicite entre contextes apportent chacun un morceau de réponse. La généralisation ne se décrète pas à partir d’une seule étude interne bien contrôlée.

Le compromis est réel : un protocole très contrôlé isole mieux certains mécanismes, tandis qu’un terrain plus proche des pratiques habituelles fait apparaître des contraintes, des hétérogénéités et des effets d’implémentation. Il faut souvent les deux plutôt que de demander à une étude unique de tout établir.

Les approches quantitatives estiment des fréquences, des associations, des différences, des trajectoires et des incertitudes. Elles sont particulièrement adaptées lorsque la question porte sur l’ampleur d’un phénomène, la comparaison de conditions ou la variation entre personnes et contextes. Leur qualité dépend du plan, de la mesure, du modèle et de la transparence des décisions, pas de la seule présence de chiffres.

Les statistiques détaillent comment estimer et tester ; la méthodologie demande auparavant si la quantité estimée répond bien à la question, si la comparaison est défendable et si l’interprétation excède les données.

Entretiens, observations, analyses de discours, ethnographies et analyses de cas peuvent décrire comment les personnes donnent sens à une expérience, comment une pratique se déroule ou quels mécanismes sont plausibles dans un contexte. Ils ne sont ni une étape informelle avant la « vraie » recherche, ni une preuve automatique de causalité.

La qualité d’une étude qualitative passe notamment par l’adéquation entre question, tradition d’enquête, corpus, position du chercheur, procédure d’analyse et appui empirique des interprétations. La saturation peut être un repère dans certains dispositifs, pas une formule universelle qui certifierait à elle seule la suffisance d’un corpus.

Les méthodes mixtes deviennent intéressantes lorsqu’une combinaison répond à une question qui resterait incomplète avec une seule approche : comprendre pourquoi un effet varie, interpréter une mesure à partir d’expériences vécues, ou concevoir une intervention avec les personnes concernées. Ajouter des verbatims à une enquête ne suffit pas à constituer une intégration méthodologique.

Un pluralisme rigoureux ne dit pas que toutes les méthodes répondent à tout. Il rend explicites leurs objets, leurs critères de qualité et les points où leurs conclusions peuvent réellement se rencontrer ou diverger.

Une taille d’effet décrit l’ampleur estimée d’une différence ou d’une association sur une échelle donnée. Un intervalle de confiance indique quelles valeurs restent relativement compatibles avec les données et le modèle employé. L’un comme l’autre doivent être interprétés avec le contexte : un petit effet peut être socialement important à grande échelle ; un effet moyen peut être inutilisable pour une décision individuelle.

La valeur p n’est ni la probabilité que l’hypothèse soit vraie, ni la taille de l’effet, ni un certificat de réplication. Tester de nombreuses hypothèses ou comparaisons accroît aussi la probabilité d’observer des résultats extrêmes par hasard ; cette multiplicité doit être anticipée et rapportée. Un seuil conventionnel ne remplace pas la question de l’incertitude, de la plausibilité préalable, des décisions alternatives et de la pertinence pratique.

Un échantillon trop faible produit des estimations instables et laisse davantage de place aux effets surestimés parmi les résultats publiés. Justifier une taille d’échantillon ne se réduit pas à viser une puissance conventionnelle : précision attendue, coût, faisabilité, décision à prendre et valeur informative d’un résultat nul sont également pertinents.

Les approches fréquentistes, bayésiennes et décisionnelles proposent des langages différents pour traiter l’incertitude. Aucune ne dispense de formuler les hypothèses, de documenter les choix et de distinguer une estimation incertaine d’une absence démontrée d’effet utile.

Les personnes qui acceptent une étude, restent jusqu’à son terme ou répondent à une question ne sont pas forcément comparables à celles qui n’y participent pas. Les pertes de suivi, les exclusions, les données manquantes et les changements de protocole peuvent modifier une comparaison. Les masquer sous un taux global ou les traiter après coup sans justification affaiblit l’inférence.

En psychologie, réactivité des participants, caractéristiques de demande, attentes de l’expérimentateur, absence d’aveuglement lorsque celui-ci serait possible et désirabilité sociale peuvent également déplacer les résultats. Les nommer n’invalide pas une étude ; c’est la condition pour évaluer la part de robustesse qui reste.

Choisir une variable dépendante, une règle d’exclusion, une transformation, un sous-groupe, un modèle ou le moment d’arrêt de la collecte après avoir vu les données augmente les occasions d’obtenir un résultat apparemment positif par hasard. Chaque décision peut sembler raisonnable isolément ; leur accumulation non déclarée déforme l’incertitude annoncée.

Le p-hacking, multiplier les choix d’analyse jusqu’à obtenir un résultat significatif, n’implique pas nécessairement une intention de frauder. Les analyses de robustesse, le partage du code, les modèles alternatifs annoncés et la distinction entre analyses confirmatoires et exploratoires rendent cette latitude visible plutôt que de la nier.

Une littérature peut devenir biaisée sans qu’une majorité de chercheurs fraude : des incitations convergentes, des pratiques analytiques flexibles et une sélection éditoriale peuvent produire collectivement une image déformée des preuves. Préférer la nouveauté, les résultats positifs, la rapidité de publication ou des indicateurs bibliométriques crée un environnement où réplications, résultats nuls et corrections sont moins visibles.

La marchandisation de la recherche peut y contribuer, mais n’est ni absente ni l’unique explication. Universités publiques, agences de financement, systèmes d’évaluation, propriété intellectuelle, impératifs de carrière et compétition pour les ressources forment ensemble une économie politique de la connaissance.

Un conflit d’intérêts financier, institutionnel, idéologique ou de carrière ne démontre pas qu’un résultat est faux ; il indique une raison de renforcer la transparence, l’indépendance de l’évaluation et l’accès aux données. La revue Cochrane de Lundh et ses collègues (2017) documente que, dans la recherche biomédicale sur médicaments et dispositifs, les études financées par l’industrie produisent plus souvent des résultats et conclusions favorables au sponsor ; ce résultat empirique ne se transpose pas automatiquement à tous les domaines de la psychologie. Les pratiques discutables, comme la présentation sélective d’analyses, diffèrent encore de la fabrication, de la falsification ou du plagiat, qui sont des manquements graves à l’intégrité.

Réduire les problèmes de crédibilité à quelques cas de fraude spectaculaire rassure à tort. Les réformes les plus utiles modifient aussi les conditions ordinaires de production, d’évaluation et de correction des travaux.

Un préenregistrement documente à l’avance les hypothèses et décisions qui doivent être distinguées des analyses exploratoires ; son moment par rapport à la collecte et à l’accès aux données doit être explicite. Il réduit l’ambiguïté entre ce qui avait été prédit et ce qui a été découvert après coup, sans empêcher l’exploration lorsqu’elle est étiquetée comme telle.

Les rapports enregistrés (Registered Reports) vont plus loin : un protocole est évalué et reçoit une acceptation de principe avant que les résultats soient connus, sous réserve notamment du respect du plan approuvé. Cette procédure ne convient pas à tous les projets, mais corrige directement l’incitation à sélectionner les seuls résultats attrayants.

Partager matériaux, code et jeux de données permet de vérifier les analyses, de réutiliser des instruments et de découvrir des erreurs. La reproductibilité computationnelle désigne la possibilité d’obtenir les mêmes résultats à partir des mêmes données et du même code. Elle ne démontre pas encore que le résultat se retrouvera dans de nouvelles données.

L’ouverture a des limites réelles : confidentialité, risque de réidentification, consentement, droit des communautés sur leurs données, inégalités de ressources et usages secondaires non prévus. Les accès contrôlés, les données synthétiques ou un partage différé peuvent parfois protéger mieux les personnes qu’une ouverture indiscriminée.

La reproductibilité computationnelle demande si les mêmes données et le même code conduisent aux mêmes résultats. Une réplication recueille de nouvelles données pour examiner la même question, avec une méthode proche ou délibérément étendue. Une généralisation étudie la stabilité d’un résultat entre populations, contextes, mesures ou périodes. Les termes varient selon les disciplines ; distinguer les opérations évite de leur demander la même chose.

Une divergence entre étude originale et réplication peut provenir d’un effet fragile, d’une puissance insuffisante, d’une différence de population, d’une mise en œuvre non équivalente ou d’une erreur. Elle invite à étudier ces possibilités ; elle ne permet pas automatiquement de déclarer un effet « vrai » ou « faux ».

Les revues systématiques rendent explicites la question, les critères de recherche et de sélection, ainsi que les limites des études incluses. Les méta-analyses estiment un effet moyen et son hétérogénéité lorsqu’il est pertinent de combiner les travaux. Elles ne corrigent pas par magie les biais de publication, les mesures incompatibles ou la faible qualité des études qu’elles agrègent.

Un bon bilan distingue la quantité d’études de leur risque de biais, la précision de l’estimation, la cohérence des résultats, leur applicabilité et les conséquences pratiques d’une erreur. Un effet moyen est parfois une réponse utile ; parfois, l’hétérogénéité est le résultat principal à comprendre.

Un consentement éclairé suppose une information compréhensible, une participation libre et la possibilité de se retirer. Chez des personnes dépendantes, mineures, précarisées, institutionnalisées ou exposées à un risque particulier, la procédure doit être ajustée : la vulnérabilité n’est pas une étiquette homogène mais une relation entre situation, pouvoir et protections disponibles.

Confidentialité, sécurité des données, durée de conservation, réutilisations possibles et accès futur doivent être pensés dès le plan. Les règles juridiques et institutionnelles varient selon les pays et les types de recherche ; les principes de Belmont, le rapport américain de 1979 sur la protection des personnes dans la recherche, et le code de l’APA constituent ici des repères historiques et professionnels, non un cadre réglementaire universel. La tromperie, parfois employée en psychologie sociale, exige une justification forte, des risques minimisés et un débriefing qui ne transforme pas les participants en simples moyens au service d’un effet.

Les catégories de recherche peuvent rendre visibles des inégalités, mais aussi imposer des identités, naturaliser des écarts ou faire porter aux individus la responsabilité de problèmes structurels. Les personnes et communautés concernées ne sont pas seulement des sources de données : leurs connaissances, leurs priorités et leurs droits peuvent modifier la question, les mesures et l’interprétation.

Une intervention utile dans un essai peut devenir injuste ou nocive si elle est appliquée sans tenir compte de son accès, de son coût, de ses effets différenciés ou de la manière dont elle déplace la responsabilité. Évaluer une méthode implique donc aussi d’examiner la distribution des bénéfices et des risques.