Les auteurs, de la valeur p à la réplication.

Statisticien à la station expérimentale agricole de Rothamsted à partir de 1919, Fisher y développe, pour analyser des essais de rendement de cultures, l’essentiel de l’appareil de l’inférence statistique moderne : l’analyse de variance, le plan d’expérience randomisé, et la valeur p comme indicateur de la compatibilité d’un résultat observé avec une hypothèse nulle. Son ouvrage Statistical Methods for Research Workers, publié en 1925, puis The Design of Experiments en 1935, diffusent ces outils bien au-delà de l’agronomie, vers la biologie, la médecine et rapidement la psychologie expérimentale.

Fisher conçoit initialement la valeur p comme un indice continu de preuve contre une hypothèse, à interpréter au cas par cas dans le contexte d’une recherche, et non comme un seuil binaire automatique décidant seul de la publication ou de la croyance en un résultat, une nuance importante que la pratique statistique ultérieure en psychologie a largement perdue en route.

Le seuil conventionnel de 5 %, aujourd’hui omniprésent dans les publications de psychologie, vient d’un choix pragmatique de Fisher plutôt que d’une démonstration mathématique de son caractère optimal ; il proposait lui-même, selon les contextes, de considérer des seuils différents et jugeait qu’un résultat mérite d’être répliqué avant d’être tenu pour établi, plutôt que validé par un seul test franchissant un seuil fixe. Cette insistance sur la réplication comme critère ultime de solidité d’un résultat, plus que sur la valeur p d’une étude isolée, reste l’un des points de sa pensée les plus fidèlement retrouvés dans les réponses apportées à la crise de la réplication près d’un siècle plus tard.

L’appareil statistique de Fisher a ainsi fourni à la psychologie du vingtième siècle un langage commun pour trancher, au moins en apparence, si un résultat expérimental méritait d’être pris au sérieux, une contribution méthodologique dont l’influence sur la discipline dépasse de loin celle de la plupart des théories psychologiques elles-mêmes.

À partir de 1957, Fisher conteste publiquement, dans des lettres au British Medical Journal puis dans un livre, les études épidémiologiques établissant un lien entre tabagisme et cancer du poumon, en avançant qu’une prédisposition génétique commune pourrait expliquer à la fois le fait de fumer et le risque de cancer, sans que le tabac en soit la cause directe. Il maintient cette position jusqu’à sa mort en 1962, alors que les preuves épidémiologiques, notamment les travaux de Richard Doll et Austin Bradford Hill, se renforcent année après année.

L’historien des sciences Paul Stolley, dans une analyse publiée en 1991 dans l’American Journal of Epidemiology, documente que Fisher percevait à l’époque des honoraires de consultant du Tobacco Manufacturers’ Standing Committee, sans que cela permette de trancher si cet intérêt financier a orienté son jugement scientifique ou seulement renforcé une conviction déjà installée sur les limites de l’inférence causale à partir de données observationnelles. Cet épisode, documenté par des historiens indépendants du champ statistique, rappelle qu’une expertise méthodologique considérable, ici sur les limites réelles des études d’observation, n’immunise pas contre une conclusion substantielle erronée, en particulier lorsqu’un intérêt personnel vient s’ajouter à une position théorique déjà défendue.

Dans un article de 1933 publié dans les Philosophical Transactions of the Royal Society, Neyman et Pearson proposent un cadre différent de celui de Fisher : plutôt qu’évaluer la compatibilité d’une donnée avec une seule hypothèse nulle, ils formulent le problème comme un choix entre deux hypothèses concurrentes, en fixant à l’avance un taux d’erreur de première espèce (rejeter à tort une hypothèse vraie, noté alpha) et en cherchant à minimiser l’erreur de seconde espèce (ne pas rejeter une hypothèse fausse, notée bêta), dont le complément définit la puissance du test.

Ce cadre introduit des notions absentes chez Fisher, la puissance statistique et le calcul a priori de la taille d’échantillon nécessaire pour détecter un effet d’une ampleur donnée, des outils que Jacob Cohen popularisera ensuite spécifiquement pour la psychologie. Fisher et Neyman s’opposent publiquement et durablement sur la légitimité philosophique de cette approche, Fisher reprochant au cadre de Neyman-Pearson de transformer l’inférence scientifique en une procédure de décision mécanique dénuée de jugement contextuel.

Malgré cette opposition théorique frontale entre les deux écoles, les manuels de statistique destinés aux psychologues à partir du milieu du vingtième siècle ont progressivement combiné des éléments des deux traditions : la valeur p de Fisher continue de servir d’indicateur de résultat, tandis que le vocabulaire de Neyman-Pearson (erreur de type I, erreur de type II, puissance, seuil alpha fixé à l’avance) structure la présentation générale du test d’hypothèse, sans que cette fusion soit présentée comme un compromis entre deux logiques distinctes.

Cette synthèse pratique a permis de doter la psychologie d’une procédure de test standardisée, enseignée de façon relativement uniforme dans les cursus universitaires du monde entier, un acquis réel malgré l’incohérence conceptuelle qu’elle recouvre.

Le psychologue et spécialiste de la décision Gerd Gigerenzer, dans un article de 2004 intitulé « Mindless statistics » publié dans le Journal of Socio-Economics, montre que la procédure enseignée dans la plupart des cursus de psychologie sous le nom de « test de signification » est en réalité un hybride incohérent des deux cadres : elle emprunte à Fisher l’idée d’une seule hypothèse nulle et d’une valeur p rapportée après coup, et à Neyman-Pearson le vocabulaire d’un seuil alpha fixé à l’avance et d’une décision binaire, alors que Fisher rejetait explicitement l’idée d’un seuil fixe universel et que Neyman rejetait tout aussi explicitement l’idée d’interpréter une valeur p comme une mesure continue de preuve après l’expérience.

Gigerenzer documente que cette confusion n’est pas un détail pédagogique mineur mais explique une partie substantielle des erreurs d’interprétation encore commises aujourd’hui par des chercheurs en psychologie, en particulier l’idée erronée qu’une valeur p indiquerait directement la probabilité que l’hypothèse nulle soit vraie. Rendre visible cette généalogie double, plutôt que présenter le test d’hypothèse comme un bloc théorique unifié et sans histoire, reste l’un des apports les plus utiles de la recherche méthodologique récente sur l’enseignement des statistiques en psychologie.

Professeur à l’université de New York, Cohen publie dès 1962 dans le Journal of Abnormal and Social Psychology une revue systématique de la puissance statistique des études publiées dans cette revue, et montre que la majorité d’entre elles n’avaient, compte tenu de leur taille d’échantillon, qu’une probabilité modeste de détecter un effet même réel et d’ampleur moyenne, un problème qu’il attribue à l’absence quasi générale, à l’époque, de tout calcul a priori de puissance dans la conception des études.

Il développe ensuite, dans son ouvrage de référence Statistical Power Analysis for the Behavioral Sciences publié en 1969 puis largement révisé en 1988, des indices de taille d’effet standardisés, dont le désormais très utilisé d (le d de Cohen, exprimant un écart entre deux groupes en unités d’écart-type), qui permettent de raisonner sur l’ampleur concrète d’un résultat indépendamment de la taille de l’échantillon qui l’a produit, une distinction que la seule valeur p ne permet pas de faire.

En 1994, dans un article resté célèbre publié dans American Psychologist et titré « The Earth Is Round (p < .05) », Cohen prolonge sa critique méthodologique en s’attaquant directement à la logique même du test de signification nulle tel qu’il est couramment pratiqué en psychologie, qu’il juge répondre à une question sans intérêt pratique (la probabilité des données sachant une hypothèse nulle presque toujours fausse a priori) plutôt qu’à la question réellement posée par les chercheurs, celle de la probabilité de l’hypothèse étudiée compte tenu des données observées.

Cet article, écrit par l’un des statisticiens les plus centraux de la méthodologie en psychologie et non par un critique extérieur au champ, a contribué à légitimer un mouvement plus large en faveur du report systématique des tailles d’effet et des intervalles de confiance aux côtés, voire à la place, de la seule valeur p, une pratique aujourd’hui recommandée par la plupart des revues majeures du champ.

Une réplication de l’étude originale de Cohen, menée par Peter Sedlmeier et Gerd Gigerenzer et publiée en 1989 dans Psychological Bulletin, examine la puissance statistique des études publiées dans la même revue près de trente ans après le constat initial de Cohen, et trouve une situation à peine améliorée, malgré la notoriété entre-temps acquise par l’article fondateur de 1962 et la diffusion large des outils de calcul de puissance que Cohen avait lui-même développés.

Cette persistance documentée d’un problème pourtant identifié, quantifié et outillé méthodologiquement depuis des décennies illustre une limite structurelle importante : la disponibilité d’un outil statistique correct ne suffit pas à changer une pratique de recherche, tant que les incitations à la publication, la taille des échantillons accessibles et les habitudes de formation méthodologique ne sont pas elles-mêmes révisées en conséquence, un constat qui reste directement pertinent dans les discussions actuelles sur la crise de la réplication en psychologie.

Épidémiologiste formé en Grèce puis installé aux États-Unis, Ioannidis publie en 2005 dans PLOS Medicine un article court et volontairement provocateur dans son titre, « Why Most Published Research Findings Are False », qui ne repose pas sur une analyse empirique de la littérature mais sur un raisonnement probabiliste : à partir d’une estimation de la probabilité a priori qu’une hypothèse testée soit vraie dans un champ donné, du seuil de signification utilisé, et de la puissance statistique typique des études de ce champ, il calcule la proportion attendue de résultats publiés significatifs qui seraient malgré tout de faux positifs.

L’article identifie plusieurs facteurs aggravants documentés dans la littérature de l’époque, notamment la faible puissance déjà dénoncée par Cohen, la multiplication des tests non corrigés au sein d’une même étude, la flexibilité des choix analytiques effectués après avoir vu les données, et les incitations à ne publier que des résultats positifs, autant de mécanismes que la psychologie retrouvera quelques années plus tard au cœur de sa propre crise de la réplication.

L’article de 2005 devient l’un des textes scientifiques les plus cités et les plus discutés de la décennie suivante, repris directement par les psychologues qui documentent à partir de 2011 une série de fraudes et de résultats non réplicables dans leur propre discipline, pour expliquer structurellement pourquoi un système de publication centré sur les seuls résultats significatifs et positifs produit mécaniquement une littérature scientifique biaisée, indépendamment de l’intégrité individuelle des chercheurs concernés.

Ioannidis a depuis étendu ce travail à l’étude systématique des pratiques de recherche elles-mêmes, en particulier la reproductibilité des grandes bases de données biomédicales et la prévalence du p-hacking, contribuant à faire émerger la métascience comme domaine de recherche à part entière plutôt qu’une simple critique méthodologique ponctuelle.

Steven Goodman et Sander Greenland, dans une réponse publiée également dans PLOS Medicine en 2007, relèvent que la conclusion spectaculaire de l’article de 2005 dépend fortement de choix de paramètres eux-mêmes non mesurés empiriquement mais estimés de façon arbitraire, en particulier la probabilité a priori qu’une hypothèse soit vraie, un nombre par nature invérifiable directement et dont la valeur retenue détermine largement l’ampleur du résultat final annoncé.

Le titre de l’article, délibérément généralisant, a par ailleurs été repris dans le débat public bien au-delà de ce que le raisonnement probabiliste original permettait strictement d’affirmer pour un champ de recherche donné, une tension entre la force rhétorique d’un titre et la prudence méthodologique du raisonnement sous-jacent que l’on retrouve dans plusieurs autres textes marquants de ce dossier. L’article reste un cadre de réflexion précieux pour identifier les conditions qui rendent une littérature scientifique peu fiable, à condition de ne pas transformer une estimation probabiliste dépendante d’hypothèses en un chiffre empiriquement démontré.

Professeur à l’université de Virginie, Nosek cofonde en 2013 le Center for Open Science, dont l’un des premiers grands projets, l’Open Science Collaboration, réunit plus de deux cents chercheurs bénévoles à travers le monde pour reproduire, en suivant au plus près les protocoles d’origine, cent études publiées en 2008 dans trois revues majeures de psychologie. Publiés en 2015 dans Science, les résultats montrent que si la quasi-totalité des études originales rapportaient un résultat statistiquement significatif, seule une proportion nettement plus faible des réplications, autour de trente-six pour cent selon le critère principal retenu, retrouve un résultat significatif de même sens.

Ce projet, d’une ampleur logistique inédite pour une entreprise purement méthodologique menée sans financement institutionnel massif ni intérêt direct pour les carrières de la plupart des participants, transforme la question de la réplication d’une préoccupation diffuse en un chiffre précis, largement relayé bien au-delà du monde académique, qui devient rapidement l’un des symboles les plus cités de ce que la discipline appelle désormais sa crise de la réplication.

Au-delà du seul diagnostic, Nosek développe des outils destinés à corriger structurellement les mécanismes identifiés par Ioannidis et d’autres : le préenregistrement des hypothèses et des analyses avant le recueil des données, qui empêche la flexibilité analytique rétrospective, et le format de la publication enregistrée (registered report), où une revue s’engage à publier une étude sur la seule qualité de son protocole, indépendamment du caractère significatif ou non du résultat finalement obtenu, un renversement direct de l’incitation à ne publier que des résultats positifs.

Ces pratiques, initialement marginales, sont aujourd’hui proposées par plusieurs centaines de revues scientifiques à travers les disciplines, une transformation concrète des normes de publication directement attribuable au travail de plaidoyer méthodique mené par Nosek et le Center for Open Science depuis le milieu des années 2010.

En 2016, une équipe de chercheurs menée par Daniel Gilbert publie dans Science un commentaire direct sur l’étude de 2015, qui conteste la méthode statistique utilisée pour estimer le taux de réplication réussie et avance qu’une fois pris en compte les écarts, parfois substantiels, entre le protocole des réplications et celui des études originales sur des dimensions comme la population étudiée ou le contexte culturel, le taux réel de résultats confirmés serait statistiquement compatible avec un taux beaucoup plus élevé que celui initialement rapporté, remettant en question l’ampleur du problème tel qu’il a été largement diffusé dans les médias.

Cet échange, resté ouvert plutôt que définitivement tranché dans la littérature méthodologique, illustre une leçon plus générale directement applicable au projet lui-même : estimer un taux de réplication à l’échelle d’une discipline entière soulève des difficultés statistiques et méthodologiques presque aussi importantes que celles que le projet cherchait initialement à documenter dans les études individuelles qu’il examinait, un rappel utile pour ne pas transformer un chiffre unique en verdict définitif sur l’état d’un champ scientifique.

Francis Galton esquisse dès les années 1880 l’idée qu’une relation statistique peut être mesurée entre deux variables, sans en donner de formulation mathématique rigoureuse. Pearson, qui rejoint son cercle de collaborateurs, formalise cette intuition en un coefficient de corrélation calculable à partir de données, encore utilisé aujourd’hui sous son nom, et développe en 1900 le test du chi-carré, l’un des premiers outils permettant de tester statistiquement si une distribution observée s’écarte significativement d’une distribution attendue.

Avec Galton et le biologiste Walter Weldon, Pearson fonde en 1901 la revue Biometrika, consacrée à l’application des méthodes statistiques à la biologie, et crée en 1911 au University College de Londres le premier département universitaire de statistique au monde, institutionnalisant une discipline qui n’existait jusque-là qu’éparpillée entre la biologie, l’économie et l’assurance.

Le coefficient de corrélation de Pearson et le test du chi-carré comptent aujourd’hui parmi les outils statistiques les plus utilisés de toutes les sciences sociales et biologiques, bien au-delà du programme de recherche sur l’hérédité qui les a initialement motivés. Leur diffusion doit beaucoup au département qu’il fonde, qui forme plusieurs générations de statisticiens, dont certains, comme Ronald Fisher, développeront ensuite des méthodes en partie critiques du cadre statistique que Pearson avait lui-même établi.

Pearson succède directement à Galton à la tête de la chaire d’eugénisme de l’University College de Londres, financée par le legs de Galton lui-même, et dirige le laboratoire de biométrie et le bureau d’archives eugénistes qui lui sont associés. Il ne se contente pas de développer des outils mathématiques neutres que d’autres auraient ensuite détournés à des fins racistes : Pearson publie lui-même des études statistiques visant à démontrer une infériorité supposée de certaines populations, notamment des immigrants juifs d’Europe de l’Est, et milite activement pour des politiques eugénistes tout au long de sa carrière.

Cet engagement n’est pas une controverse annexe séparable de son apport statistique : les outils qu’il développe, la corrélation en tête, sont pensés et employés par lui-même comme des instruments au service de ce programme, avant de s’en détacher par la suite dans leur usage scientifique général. L’University College de Londres a formellement reconnu cet héritage en 2020, en retirant le nom de Pearson, comme celui de Galton, des bâtiments et espaces qui le portaient.

Recruté en 1899 par la brasserie Guinness pour appliquer la chimie et la statistique à l’amélioration du brassage, Gosset se heurte à un problème concret : les échantillons dont il dispose pour comparer différentes variétés d’orge ou différents procédés, souvent une poignée de mesures seulement en raison du coût et du temps de chaque essai, sont trop petits pour que les méthodes statistiques fondées sur la loi normale, valables seulement pour de grands échantillons, restent fiables.

Il développe la distribution t, qui tient compte explicitement de l’incertitude supplémentaire introduite par un petit échantillon, et la publie en 1908 dans la revue Biometrika sous le pseudonyme « Student », Guinness interdisant alors à ses employés de publier sous leur propre nom, par crainte de révéler des secrets industriels à la concurrence en publiant des données issues de ses procédés internes.

Ronald Fisher, qui correspond avec Gosset et développe indépendamment une grande partie de la statistique inférentielle moderne, reconnaît explicitement sa dette envers la distribution t de Gosset et l’intègre au cœur de son propre travail sur les petits échantillons et l’analyse de la variance. Le test t, dans ses versions pour échantillon unique, pour échantillons appariés et pour échantillons indépendants, est depuis devenu l’un des outils statistiques les plus enseignés et les plus utilisés en psychologie, en médecine et dans l’ensemble des sciences expérimentales, chaque fois qu’il s’agit de comparer les moyennes de deux petits groupes.

L’histoire de sa découverte, née d’une contrainte industrielle très concrète plutôt que d’un projet théorique abstrait, illustre aussi comment une statistique aujourd’hui enseignée de façon purement formelle est souvent née d’un problème pratique précis, avec ses propres limites de départ.

Le test t repose sur des hypothèses précises, notamment la normalité approximative de la distribution des données et l’homogénéité des variances entre groupes comparés, que Gosset lui-même avait soigneusement documentées mais que son usage généralisé en psychologie a parfois relâchées : appliqué à des données très asymétriques, à de très petits groupes ou à des variances très inégales entre les groupes comparés, le test t peut produire des résultats trompeurs, ce qui a nourri le développement d’alternatives non paramétriques et de corrections comme le test de Welch pour variances inégales.

La focalisation de plusieurs générations d’étudiants sur la seule signification statistique obtenue par ce test a aussi contribué, avec les pratiques dénoncées plus tard par Simmons, Nelson et Simonsohn puis par le mouvement pour la science ouverte, à une utilisation parfois plus rituelle que réellement réfléchie d’un outil que Gosset avait initialement conçu comme une aide au jugement plutôt que comme un verdict binaire.