Statistiques :
ce qu’un résultat
montre vraiment.

En 1925, Ronald Fisher publie « Statistical Methods for Research Workers » et popularise le test de signification : calculer la probabilité d’observer des données au moins aussi extrêmes que celles obtenues, en supposant qu’aucun effet réel n’existe. Fisher propose le seuil de 5 % comme un repère conventionnel utile pour juger si un résultat mérite qu’on s’y attarde, pas comme une règle de décision automatique et définitive.

Quelques années plus tard, Jerzy Neyman et Egon Pearson (1933) formalisent un cadre différent : fixer à l’avance deux taux d’erreur, celui de conclure à tort à un effet et celui de manquer à tort un effet réel, puis décider d’accepter ou de rejeter une hypothèse face à une alternative explicite, un cadre pensé pour des décisions répétées comme le contrôle de qualité industriel. Les manuels ont fusionné ces deux logiques en une seule procédure hybride qu’aucun des deux camps n’aurait pleinement reconnue comme la sienne, chacun jugeant l’approche de l’autre incomplète pour des raisons opposées. Cette origine composite explique pourquoi le même test est aujourd’hui décrit de façon incohérente d’un manuel à l’autre.

Formellement, une p-value est la probabilité, en supposant l’hypothèse nulle vraie, d’observer un résultat au moins aussi extrême que celui obtenu si l’expérience était répétée un grand nombre de fois. C’est un énoncé sur les données, conditionnel à une hypothèse, pas un énoncé sur la probabilité de cette hypothèse elle-même compte tenu des données.

L’erreur d’interprétation la plus répandue inverse exactement cette logique : traiter la p-value comme la probabilité que l’hypothèse nulle soit vraie, ou son complément comme la probabilité que l’effet étudié soit réel. Cette inversion confond deux quantités mathématiquement différentes, la probabilité des données sachant une hypothèse et la probabilité d’une hypothèse sachant les données, et elle reste extrêmement fréquente, y compris chez des chercheurs expérimentés, dans des manuels de méthodologie et dans la couverture médiatique de résultats scientifiques.

Une seconde confusion, plus discrète, consiste à croire qu’une p-value indique la probabilité que le résultat se reproduise si l’étude était refaite à l’identique. Rien dans la définition de la p-value ne garantit une telle chose : elle décrit la rareté d’un résultat sous une hypothèse précise, pas la stabilité de ce résultat dans le temps. La section consacrée plus loin à la crise de la réplication montre à quel point ces deux notions, significativité d’un résultat isolé et probabilité de sa réplication, peuvent diverger dans les faits.

En 2016, l’American Statistical Association publie sa toute première prise de position officielle sur une question statistique, rédigée par Ronald Wasserstein et Nicole Lazar, consacrée entièrement aux p-values. Le texte énonce six principes rappelant ce qu’une p-value n’est pas : elle ne mesure pas la probabilité que l’hypothèse étudiée soit vraie, elle ne mesure pas la probabilité que les données soient dues au seul hasard, elle ne devrait jamais constituer à elle seule la base d’une décision, et elle ne mesure pas, isolément, l’ampleur d’un effet ni l’importance d’un résultat.

La portée de cette déclaration tient moins à sa nouveauté, les statisticiens connaissaient ces limites depuis longtemps, qu’à son statut : un consensus professionnel officiel, jugé nécessaire pour corriger des décennies d’usage erroné suffisamment répandu pour justifier une telle démarche collective. Des commentateurs sont allés plus loin depuis, certains proposant carrément d’abandonner l’expression même de « significativité statistique » plutôt que de continuer à tenter de la corriger, un débat qui reste ouvert et qui prolonge directement celui documenté ici.

La marge d’erreur d’une estimation se réduit à mesure que l’échantillon grandit, grosso modo au rythme de la racine carrée du nombre de participants. Avec un échantillon suffisamment grand, même une différence réelle mais infime devient détectable en dessous du seuil de 5 %. Des études portant sur des dizaines de milliers de personnes rapportent ainsi régulièrement des différences « significatives » qui représentent, une fois traduites en unités concrètes, une fraction de point sur une échelle de mesure.

La signification statistique répond uniquement à la question de savoir si un effet est différent de zéro, pas à celle de savoir s’il est assez grand pour compter dans la vie d’une personne, pour orienter une décision clinique ou pour justifier une politique publique. Traiter un titre annonçant « p < .05 » comme la preuve d’un effet « fort » ou « important » est une confusion de catégories que le lecteur doit apprendre à repérer systématiquement, indépendamment de la taille de l’échantillon en jeu.

Une taille d’effet mesure l’ampleur d’une différence ou d’une association indépendamment du nombre de personnes testées : le d de Cohen pour une différence de moyennes standardisée, le coefficient r pour une association, l’odds ratio pour un risque relatif. Jacob Cohen propose en 1988, dans son ouvrage de référence sur l’analyse de puissance, des repères conventionnels (d autour de 0,2 pour un petit effet, 0,5 pour un effet moyen, 0,8 pour un grand effet), qu’il reprécise en 1992 dans un article pratique destiné à en faciliter l’usage courant.

Ces repères sont des conventions grossières, pas des vérités fixes : ce qui compte comme un « grand » effet varie sensiblement d’un domaine à l’autre, et Cohen lui-même insistait sur ce point. L’intérêt de la taille d’effet tient à son calcul indépendant de la taille de l’échantillon, ce qui permet de comparer des études de tailles différentes et donne au lecteur un moyen direct de juger la pertinence pratique d’un résultat, en complément du test de signification plutôt qu’à sa place.

En 1999, un groupe de travail de l’American Psychological Association, réuni sous la direction de Leland Wilkinson, recommande formellement dans l’American Psychologist de rapporter systématiquement une taille d’effet et un intervalle de confiance à côté de toute p-value. Cette recommandation a ensuite été intégrée au manuel de publication de l’association et s’est largement diffusée comme exigence éditoriale dans les revues de psychologie.

Le respect de cette exigence est resté longtemps inégal après sa formulation, de nombreux articles continuant d’omettre la taille d’effet ou l’intervalle de confiance malgré la recommandation officielle. Vérifier qu’une taille d’effet figure bien à côté de la p-value reste, aujourd’hui encore, l’un des indicateurs les plus simples et les plus utiles pour juger de la qualité méthodologique d’un article dès sa section de résultats.

La puissance d’un test est la probabilité de détecter correctement un effet réel d’une taille donnée, s’il existe effectivement. Elle dépend conjointement de la taille de l’effet recherché, de la taille de l’échantillon, du seuil de signification choisi et de la variabilité des données. Cohen systématise en 1988 le calcul de puissance en tables et procédures utilisables avant même de recueillir la moindre donnée, avec pour cible conventionnelle une puissance de 0,80, reprise sous une forme condensée et pratique dans son article de 1992.

Avant cette systématisation, la taille d’un échantillon était souvent fixée par convention ou par simple commodité plutôt que par calcul, ce qui signifie que de nombreuses études publiées étaient sous-puissantes sans que personne ne s’en aperçoive : rien, dans une expérience achevée, ne signale après coup qu’elle manquait de la puissance nécessaire pour détecter l’effet qu’elle cherchait précisément à mettre en évidence.

Katherine Button et ses collègues passent en revue, dans un article de 2013 paru dans Nature Reviews Neuroscience, un ensemble de méta-analyses couvrant plusieurs domaines des neurosciences et estiment que la puissance statistique médiane des études du champ se situe autour de 20 %, avec une fourchette probable comprise entre 8 % et 31 %. Concrètement, une étude typique n’avait ainsi qu’une chance sur cinq environ de détecter l’effet réel qu’elle cherchait, quand cet effet existait bel et bien.

Les conséquences dépassent le simple risque de manquer un effet réel. Une puissance faible gonfle mécaniquement la proportion de résultats significatifs qui sont en réalité de faux positifs, et elle gonfle aussi la taille estimée de l’effet parmi les études qui franchissent malgré tout le seuil de signification : seules les estimations exagérément optimistes passent la barre quand la puissance est faible, un phénomène parfois appelé la malédiction du vainqueur. La fiabilité globale de la littérature en souffre bien davantage que l’intuition ne le suggère.

Plusieurs raisons se combinent : des contraintes pratiques réelles, des participants coûteux ou rares à recruter pour certaines populations cliniques ou certains troubles peu fréquents, mais aussi une structure d’incitation académique qui a longtemps récompensé le nombre d’études publiées et la nouveauté d’un résultat plutôt que des études plus grandes, plus lentes et mieux dimensionnées, sans obligation historique de justifier la taille d’un échantillon avant de recueillir les données.

Un remède partiel s’est mis en place depuis les années 2010 : certaines revues et certains organismes de financement exigent désormais une justification explicite de la taille d’échantillon, et le format de la publication enregistrée, présenté plus loin dans ce dossier, contribue précisément à corriger ce déséquilibre d’incitations. Un consensus se dessine par ailleurs pour calculer la puissance nécessaire non pas sur l’effet espéré, souvent optimiste, mais sur la plus petite taille d’effet qui aurait un intérêt pratique à être détectée. Ce déplacement change concrètement la façon de concevoir une étude : au lieu de demander combien de participants suffisent pour obtenir un résultat significatif, la question devient combien de participants sont nécessaires pour détecter de façon fiable le plus petit effet qui compterait réellement, ce qui conduit très souvent à des échantillons sensiblement plus grands que ceux traditionnellement recrutés en laboratoire.

Dans leurs simulations, la combinaison d’un nombre modeste de choix analytiques flexibles, mais chacun courant et pris isolément défendable, suffit à faire grimper le taux de faux positifs du seuil nominal de 5 % à plus de 60 % dans certains scénarios, un écart largement supérieur à ce que la plupart des chercheurs ou des lecteurs anticiperaient intuitivement.

Ce constat rejoint, sous un angle différent, l’argument mathématique avancé dès 2005 par John Ioannidis dans un essai retentissant publié dans PLoS Medicine, « Why Most Published Research Findings Are False » : la combinaison d’une puissance statistique faible, d’une flexibilité analytique non déclarée et d’une forte pression éditoriale en faveur des résultats positifs suffit, dans certains champs, à rendre probable qu’une majorité des affirmations publiées soient fausses, indépendamment de toute malhonnêteté individuelle des chercheurs concernés.

Simmons, Nelson et Simonsohn ne proposent pas d’interdire la flexibilité analytique, ce qui serait à la fois impraticable et excessif, mais d’exiger sa divulgation complète : six obligations pour les auteurs (préciser comment la taille de l’échantillon a été déterminée, déclarer toutes les observations exclues et pourquoi, rapporter toutes les mesures et conditions collectées, entre autres) et quatre recommandations pour les relecteurs. La flexibilité elle-même n’est pas malhonnête ; seule sa dissimulation l’est.

Cette norme de divulgation a anticipé un mouvement plus large qui allait suivre, le préenregistrement des hypothèses et des analyses avant la collecte des données, présenté dans la section suivante. Les deux démarches partagent la même logique : fixer, ou au moins déclarer publiquement, le plan d’analyse avant de voir les données, et signaler clairement comme exploratoire tout ce qui a été décidé après coup plutôt que de le présenter comme une confirmation.

Plus de deux cent soixante-dix chercheurs, réunis sous le nom d’Open Science Collaboration, publient en 2015 dans la revue Science les résultats d’une réplication systématique de cent études issues de trois revues majeures (Psychological Science, Journal of Personality and Social Psychology, Journal of Experimental Psychology : Learning, Memory, and Cognition), en utilisant autant que possible le matériel original et des échantillons de plus grande taille que les études d’origine. Parmi les études originales, 97 % rapportaient un résultat statistiquement significatif, ce qui n’est guère surprenant puisque c’est précisément ce type de résultat qui tend à être publié ; parmi les réplications, seules 36 % atteignaient encore la significativité, et la taille d’effet moyenne mesurée à la réplication représentait environ la moitié de celle rapportée initialement.

Il faut noter une nuance méthodologique importante : il n’existe pas de critère unique et universellement accepté pour définir une réplication « réussie », si bien que l’équipe a rapporté plusieurs indicateurs en parallèle (significativité, présence de l’effet original dans l’intervalle de confiance de la réplication, jugement subjectif des équipes de réplication). Quel que soit l’indicateur retenu, aucun ne dépassait sensiblement la moitié, ce qui écarte l’idée que le déclin observé ne serait qu’un artefact du mode de calcul choisi.

Les causes recensées rejoignent les sections précédentes de ce dossier : une puissance initiale trop faible qui gonfle artificiellement la taille des effets publiés, des degrés de liberté analytiques non déclarés, un biais de publication qui favorise systématiquement les résultats positifs et nouveaux, mais aussi de réelles différences entre le contexte d’une étude originale et celui de sa réplication, une objection parfois désignée comme l’hypothèse d’un « modérateur caché », que les critiques du champ estiment cependant invoquée bien plus souvent qu’elle n’est réellement démontrée.

Distinguer une véritable condition limite, un effet qui dépend authentiquement du contexte, d’un faux positif habillé après coup en effet contextuel exige des preuves indépendantes supplémentaires, pas seulement l’évocation de cette possibilité. Invoquer un modérateur caché après l’échec d’une réplication, sans le démontrer par ailleurs, reproduit en réalité le même type de raisonnement flexible que celui décrit à propos du p-hacking plus haut dans ce dossier.

Plusieurs pratiques se sont diffusées depuis 2015 : le préenregistrement des hypothèses et du plan d’analyse avant la collecte des données, hébergé sur des dépôts publics comme l’Open Science Framework, et le format de la publication enregistrée, inauguré dès 2013 par Christopher Chambers dans la revue Cortex, où l’acceptation de principe d’un article se décide avant même de connaître les résultats, sur la seule qualité de la question posée et de la méthode prévue. Un article de synthèse publié en 2018 dans les Proceedings of the National Academy of Sciences par Brian Nosek et ses collègues documente la croissance rapide de ces pratiques et détaille la logique qui les sous-tend : distinguer clairement une prédiction, formulée avant de voir les données, d’une explication postérieure aux faits.

Une nuance s’impose : ces réformes s’attaquent plus directement à certaines causes, le biais de publication, le p-hacking, qu’à d’autres, la sous-puissance chronique ou les incitations culturelles à produire un volume élevé de publications, et leur adoption reste inégale d’une revue ou d’un sous-domaine à l’autre. Dix ans après 2015, le champ dispose de bien meilleurs outils pour détecter le problème qu’il n’en est réellement guéri. Un lecteur attentif peut néanmoins déjà s’en servir concrètement : la présence d’un numéro de préenregistrement, ou la mention explicite qu’un article a été accepté sous le format de la publication enregistrée, reste aujourd’hui l’un des signaux les plus fiables qu’une étude de psychologie a été conçue pour tester une prédiction plutôt que pour en fabriquer une après coup.

Un coefficient de corrélation décrit à quel point deux variables varient ensemble ; il ne dit rien, par lui-même, sur la direction d’un lien éventuel (est-ce X qui influence Y, ou l’inverse) ni sur l’existence d’une troisième variable qui expliquerait les deux à la fois. Ce dossier applique ici un principe déjà présenté ailleurs sur ce site à propos des marqueurs biologiques (un marqueur associé de façon stable à un trait n’implique ni qu’il le cause, ni qu’il soit immuable) : la distinction entre association et causalité n’est pas propre aux statistiques, c’est une question de logique sur ce qu’un dispositif d’étude peut ou ne peut pas établir.

Seul un dispositif expérimental correctement randomisé, ou un petit nombre de méthodes quasi expérimentales bien justifiées (une expérience naturelle, une variable instrumentale, un devis longitudinal établissant clairement l’antériorité temporelle d’une variable sur l’autre), permet d’avancer une conclusion causale avec une confiance raisonnable. Une étude corrélationnelle transversale, aussi vaste et aussi finement analysée soit-elle statistiquement, ne se transforme pas en preuve causale simplement parce qu’on y ajoute des contrôles statistiques pour des facteurs de confusion suspectés : un facteur de confusion non mesuré reste toujours possible.

Cette prudence ne doit pas non plus glisser vers l’excès inverse, qui consisterait à rejeter toute corrélation comme dénuée d’intérêt tant qu’une expérience causale n’a pas été menée. Une association stable et répliquée reste une information utile, elle oriente les hypothèses à tester, guide le choix des variables à contrôler dans une future expérience, et peut suffire à motiver une action de précaution en l’absence de preuve causale ferme. Le problème n’est pas la corrélation elle-même, mais l’étiquette causale qu’on lui appose parfois sans le dispositif qui la justifierait.

Si un chercheur effectue de nombreux tests statistiques indépendants au seuil conventionnel de 5 %, la probabilité d’obtenir au moins un faux positif sur l’ensemble de la série augmente rapidement avec le nombre de tests, à peu près selon la formule 1 moins 0,95 puissance n. Avec vingt tests indépendants menés au seuil de 5 %, la probabilité d’obtenir au moins un résultat « significatif » par le seul effet du hasard dépasse déjà 60 %. Il s’agit d’une conséquence purement mathématique du fait de multiplier les tests, pas d’un jugement sur les intentions du chercheur.

Ce problème se pose dès qu’une étude mesure plusieurs résultats, plusieurs sous-groupes ou plusieurs moments dans le temps et ne rapporte que les comparaisons qui se sont avérées significatives, sans préciser combien en ont été réellement testées. Cette pratique reproduit silencieusement le même mécanisme d’inflation que celui documenté à propos des choix analytiques flexibles non déclarés dans la section consacrée au p-hacking.

La correction dite de Bonferroni, formalisée par Olive Jean Dunn en 1961 à partir d’une inégalité mathématique portant le nom de Carlo Emilio Bonferroni, consiste à diviser le seuil de signification visé par le nombre de tests effectués, afin que le taux d’erreur global sur l’ensemble de la série reste proche des 5 % voulus au départ. La méthode est simple et prudente, mais elle coûte en puissance statistique, d’autant plus que le nombre de tests augmente, car elle traite chaque test comme indépendant même quand les tests sont en réalité corrélés entre eux.

Deux raffinements ultérieurs sont aujourd’hui largement utilisés en complément. La procédure séquentielle de Sture Holm, publiée en 1979, garantit la même protection globale contre les faux positifs tout en conservant davantage de puissance qu’une correction de Bonferroni uniforme, en testant les hypothèses par ordre de signification et en ajustant progressivement le seuil. L’approche du taux de fausses découvertes, proposée par Yoav Benjamini et Yosef Hochberg en 1995, contrôle plutôt la proportion attendue de faux positifs parmi les résultats déclarés significatifs, un critère différent et souvent plus adapté aux analyses exploratoires portant sur un très grand nombre de comparaisons, une logique née en génomique mais aujourd’hui transposée à certaines analyses de psychologie.

Gene Glass invente le terme « méta-analyse » en 1976, dans un article publié dans Educational Researcher, pour désigner la synthèse statistique d’un ensemble d’études indépendantes portant sur une même question, par opposition à une revue de littérature narrative classique. Combiner de nombreuses estimations plus modestes, en les pondérant généralement selon leur précision, augmente à la fois la puissance statistique et la précision de l’estimation combinée par rapport à n’importe laquelle des études prises isolément.

Depuis, la méta-analyse est devenue la base standard des hiérarchies de preuves en psychologie clinique comme en médecine, et ce dossier s’est lui-même déjà appuyé, ailleurs sur ce site, sur plusieurs méta-analyses (à propos de l’analyse appliquée du comportement ou des psychothérapies, par exemple), précisément parce qu’une étude isolée, même bien conduite, tranche rarement seule une question d’importance pratique. Une méta-analyse bien conduite ne se contente pas de faire la moyenne des résultats existants : elle pondère chaque étude selon la précision de son estimation, de sorte qu’une grande étude bien menée pèse davantage dans le résultat final qu’une petite étude imprécise, ce qui distingue nettement la démarche d’un simple décompte du nombre d’études allant dans un sens ou dans l’autre.

Robert Rosenthal nomme et formalise dès 1979, dans un article de Psychological Bulletin, ce qu’il appelle le problème du tiroir : les études qui ne trouvent aucun effet ou un effet négatif ont statistiquement moins de chances d’être soumises, acceptées ou publiées que celles qui rapportent un effet positif significatif. La littérature publiée sur laquelle s’appuie une méta-analyse n’est donc pas un échantillon représentatif de tout ce qui a réellement été testé.

Matthias Egger et ses collègues proposent en 1997, dans le BMJ, un test graphique aujourd’hui largement utilisé pour détecter la distorsion qui en résulte, le funnel plot : en reportant la taille d’effet de chaque étude en fonction de sa précision ou de la taille de son échantillon, on devrait obtenir un nuage de points en forme d’entonnoir à peu près symétrique en l’absence de biais, puisque les petites études imprécises se dispersent largement autour de l’effet réel tandis que les grandes études précises se regroupent près de lui. Un entonnoir asymétrique, avec des petites études négatives ou nulles manquantes, signale un biais de publication probable et doit réduire la confiance accordée à l’estimation combinée.

Combiner statistiquement des études ne corrige pas les défauts que ces études partagent en amont : des devis d’origine médiocres, des échantillons individuellement petits et chroniquement sous-puissants, un p-hacking non déclaré en amont, ou une hétérogénéité réelle entre études qu’un chiffre unique combiné peut masquer plutôt que résoudre, une moyenne calculée sur des effets très différents, mesurés dans des populations ou avec des méthodes très différentes, peut décrire fidèlement aucune étude en particulier.

Une méta-analyse rigoureuse rapporte et examine explicitement cette hétérogénéité, par exemple au moyen d’un indice statistique dédié ou d’analyses par sous-groupes, plutôt que de la dissimuler derrière une seule estimation phare. Une méta-analyse qui ne présente qu’un effet combiné assorti d’un intervalle de confiance étroit, sans discuter ni le biais de publication ni l’hétérogénéité entre les études incluses, mérite le même scepticisme que n’importe quelle autre affirmation non sourcée sur ce site.