Les auteurs, des graphes causaux aux degrés de liberté du chercheur.

Pearl développe dans les années 1980 les réseaux bayésiens, un formalisme pour raisonner sous incertitude, avant de l’étendre à l’inférence causale dans les années 1990 et 2000. Son ouvrage de référence, « Causality », publié en 2000, formalise le cadre des graphes acycliques dirigés (DAG), qui représente sous forme de diagramme les relations causales supposées entre plusieurs variables.

Ce formalisme permet de déterminer, à partir d’hypothèses explicites, quelles variables doivent être contrôlées pour isoler un effet causal, les facteurs de confusion, et lesquelles ne doivent surtout pas l’être. Contrôler un facteur de collision, une variable influencée à la fois par la cause et par la conséquence étudiées, peut faire apparaître une association qui n’existe pas dans la population générale, un phénomène connu sous le nom de paradoxe de Berkson que le formalisme permet précisément d’anticiper plutôt que de découvrir après coup. Pearl reçoit en 2011 le prix Turing, la plus haute distinction en informatique, pour l’ensemble de ces contributions.

Un graphe causal formalise des hypothèses ; il ne les prouve pas. Sa conclusion reste entièrement conditionnelle à la validité du graphe posé au départ, lui-même issu d’un jugement théorique sur les relations plausibles entre variables plutôt que d’une mesure directe. Le formalisme reste par ailleurs peu enseigné en dehors de l’informatique et de l’épidémiologie, ce qui limite encore sa diffusion dans la pratique courante de la recherche en psychologie, malgré une adoption croissante depuis les années 2010.

Simmons, Nelson et Simonsohn publient en 2011 « False-positive psychology », un article qui démontre par simulation comment plusieurs choix analytiques flexibles mais individuellement défendables, arrêter la collecte de données après avoir vérifié un résultat, exclure certains participants après coup, choisir parmi plusieurs variables ou conditions celle qui produit un résultat significatif, peuvent, combinés, transformer un taux d’erreur nominal de 5 % en un taux réel dépassant 60 %. Ils nomment ces choix les « degrés de liberté du chercheur », popularisant le terme de p-hacking pour désigner leur exploitation, intentionnelle ou non.

L’article propose des solutions concrètes devenues des standards de publication dans de nombreuses revues : préenregistrer les hypothèses et le plan d’analyse avant de voir les données, rapporter toutes les variables mesurées et toutes les conditions testées, et justifier la taille de l’échantillon à l’avance. Simonsohn développera ensuite, avec d’autres collègues, des outils de détection statistique de données falsifiées ou de p-hacking a posteriori, prolongeant directement ce programme au-delà du seul diagnostic initial.

Le préenregistrement réduit la flexibilité analytique après coup, mais il ne supprime ni la flexibilité qui subsiste dans la formulation même d’un plan préenregistré, ni le biais de publication en amont, ni la possibilité de mener plusieurs études et de ne préenregistrer que celle qui fonctionne. Le remède proposé par ce trio reste donc une pièce d’un dispositif plus large de réforme méthodologique, pas une solution autonome au problème qu’il a contribué à rendre visible.

Dans Logik der Forschung (1934, traduit en anglais sous le titre The Logic of Scientific Discovery en 1959), Popper s’oppose à la conception dominante de son époque selon laquelle une théorie devient scientifique à mesure qu’elle accumule des confirmations empiriques. Il retourne l’argument : aucune quantité de confirmations ne peut prouver définitivement une théorie universelle (voir un million de cygnes blancs ne prouve pas que tous les cygnes sont blancs), alors qu’une seule observation contraire peut la réfuter (un seul cygne noir suffit). Une théorie n’est donc scientifique, pour Popper, que si elle interdit certains états du monde observables, c’est-à-dire si elle prend le risque d’être démontrée fausse.

Popper développe ce critère en partie en réaction directe à des théories de son époque qu’il juge irréfutables par construction : il cite explicitement la psychanalyse freudienne et la psychologie individuelle d’Adler comme des cadres capables d’expliquer après coup n’importe quel comportement humain, sans jamais prendre le risque d’être contredits par une observation.

Le critère de falsifiabilité a durablement structuré la manière dont la psychologie évalue ses propres théories : une hypothèse formulée de façon à pouvoir échouer à un test empirique précis est jugée plus solide qu’une hypothèse qui s’accommode de n’importe quel résultat. Ce réflexe traverse implicitement une grande partie de la démarche critique appliquée aux portraits de ce site, de la mise à l’épreuve d’un modèle psychométrique à la contestation d’un cadre thérapeutique jugé trop élastique pour être testé.

Le poppérisme a aussi nourri des méthodes concrètes de recherche, notamment l’importance accordée aux préenregistrements d’hypothèses, qui empêchent de réinterpréter après coup un résultat non prévu comme une confirmation, un principe central du mouvement contemporain pour la science ouverte.

Le philosophe des sciences Thomas Kuhn objecte que les scientifiques n’abandonnent en pratique presque jamais une théorie établie à la première observation contraire : ils l’ajustent, invoquent des facteurs perturbateurs ou attendent une théorie de remplacement viable avant de renoncer au cadre dominant, un comportement que le modèle poppérien de la réfutation immédiate décrit mal. Imre Lakatos a tenté de concilier les deux positions en proposant qu’un programme de recherche dans son ensemble, plutôt qu’une hypothèse isolée, soit l’unité pertinente d’évaluation.

En psychologie même, de nombreuses théories utiles (l’attachement, le stress perçu) sont difficiles à falsifier au sens strict et pourtant productives de recherche empirique féconde depuis des décennies, ce qui a conduit une partie des philosophes des sciences contemporains à traiter la falsifiabilité comme un idéal régulateur précieux plutôt que comme un test binaire à appliquer littéralement à chaque théorie.

Publié d’abord comme chapitre dans le Handbook of Research on Teaching (1963) puis comme ouvrage autonome, Experimental and Quasi-Experimental Designs for Research dresse une liste systématique des menaces qui peuvent invalider la conclusion d’une étude : histoire (un événement extérieur survient pendant l’étude), maturation (les participants changent naturellement avec le temps), régression vers la moyenne, mortalité expérimentale différentielle entre groupes, effet de test (le simple fait d’être mesuré modifie le comportement). Nommer précisément ces menaces permet à un chercheur de les anticiper dans la conception de son étude plutôt que de les découvrir après coup.

Campbell et Stanley distinguent la validité interne (le résultat observé est-il réellement causé par la variable manipulée, et non par l’une de ces menaces) et la validité externe (ce résultat, obtenu dans des conditions précises, avec un échantillon précis, se généralise-t-il à d’autres personnes, lieux et moments), deux questions logiquement indépendantes qu’une étude peut satisfaire séparément.

Quand l’assignation aléatoire à un groupe expérimental et à un groupe contrôle est impossible ou contraire à l’éthique (on ne peut pas assigner au hasard des enfants à une pauvreté ou à un traumatisme pour étudier leurs effets), Campbell et Stanley cataloguent des plans quasi-expérimentaux, comme le plan à séries temporelles interrompues ou le plan avec groupe témoin non équivalent, qui permettent malgré tout de tirer des conclusions causales prudentes en contrôlant autant que possible les menaces identifiées à la validité interne.

Ce vocabulaire (validité interne, validité externe, plan quasi-expérimental, menace à la validité) est devenu un langage commun à toute la recherche en sciences sociales et comportementales, utilisé implicitement chaque fois qu’une étude discute de ses propres limites méthodologiques.

La primauté accordée par ce cadre à l’essai randomisé contrôlé comme référence de la validité interne a parfois été utilisée, dans des débats méthodologiques ultérieurs, pour disqualifier trop rapidement des données observationnelles ou qualitatives pourtant informatives sur des questions où l’expérimentation randomisée est impossible ou contraire à l’éthique, un usage plus rigide que ce que Campbell lui-même, qui a défendu toute sa carrière une épistémologie pluraliste des méthodes, avait en tête.

Campbell a lui-même, dans ses travaux ultérieurs sur l’évaluation de programmes sociaux, nuancé l’idée qu’un plan méthodologiquement irréprochable garantit une conclusion utile : une étude parfaitement valide en interne mais menée sur une population ou dans un contexte trop spécifique peut rester largement inutilisable pour la décision publique, un rappel que validité interne et pertinence pratique ne coïncident pas automatiquement.