Quand un résultat devient une preuve

La valeur p est souvent le premier chiffre cité pour présenter un résultat, comme si elle tranchait directement entre une hypothèse vraie et une hypothèse fausse. Elle mesure pourtant seulement à quel point les données seraient surprenantes sous un modèle nul spécifié. Elle ne dit ni combien l’effet observé est important, ni si cet effet compte dans le monde réel. Pour répondre à cette seconde question, il faut quitter le seul seuil de significativité et regarder l’ampleur du phénomène estimé.

La taille d’effet décrit cette ampleur, mais elle ne garantit pas encore que l’estimation soit stable. Un petit échantillon peut produire une taille d’effet spectaculaire par hasard, tandis qu’un grand échantillon peut rendre significative une différence minuscule. La question devient alors prospective : avec l’effectif, le bruit et l’effet attendus, l’étude avait-elle une chance raisonnable de détecter ce qui existe réellement ?

Une faible puissance ne produit pas seulement des résultats nuls difficiles à interpréter : parmi les résultats qui parviennent à franchir le seuil, elle favorise aussi des estimations instables et souvent trop grandes. Cette vulnérabilité s’aggrave lorsque l’analyse laisse de nombreux choix possibles après consultation des données. Chaque choix peut paraître défendable séparément, mais leur accumulation transforme le seuil de 5 % en garantie beaucoup moins stricte qu’elle n’en a l’air.

Le p-hacking rend visible le problème des degrés de liberté analytiques : choisir après coup un arrêt de collecte, une exclusion ou une variable favorable peut produire un résultat convaincant sans qu’il corresponde à la prédiction initiale. Même sans manipulation intentionnelle, un système qui ne retient surtout que les résultats positifs finit par présenter une littérature plus nette qu’elle ne l’est. Le biais ne se joue plus seulement dans l’analyse d’une étude, mais aussi dans celles qui deviennent visibles.

Quand les résultats nuls restent dans les tiroirs, les études publiées ne constituent plus un échantillon neutre de ce qui a été essayé. Elles peuvent donner l’impression qu’un effet est régulier, fort et bien établi alors que les essais non publiés racontent une histoire différente. Ce mécanisme, joint à des études sous-puissantes et à des analyses flexibles, aide à comprendre pourquoi la reproduction indépendante de résultats publiés a parfois échoué à grande échelle.

La crise de la réplication n’autorise pas à rejeter indistinctement toute la psychologie : une réplication peut aussi échouer parce qu’elle change un contexte ou mesure imparfaitement le phénomène initial. Elle a cependant rendu impossible l’idée qu’une publication significative clôt automatiquement une question. Parmi les réponses, le préenregistrement vise une distinction simple mais décisive : séparer ce qui était prévu avant les données de ce qui a été exploré après les avoir vues.

Le préenregistrement ne supprime ni l’incertitude ni l’exploration, qui reste souvent indispensable ; il oblige à les nommer clairement. Une analyse exploratoire peut alors générer une hypothèse intéressante sans être présentée comme une prédiction confirmée. Mais même des études transparentes restent partielles et situées. Pour estimer ce que l’ensemble des travaux disponibles indique, il faut les mettre en regard plutôt que privilégier l’étude la plus spectaculaire.

La méta-analyse combine les estimations de plusieurs études et peut donc réduire l’incertitude propre à chacune. Elle permet aussi d’examiner l’hétérogénéité des résultats et les indices de biais de publication. Sa conclusion demeure conditionnelle à ce qui entre dans le calcul : la qualité des études, les données absentes et les différences de méthode doivent rester visibles. Une synthèse rigoureuse achève ainsi moins une controverse qu’elle ne précise ce qui est établi, ce qui reste incertain, et ce qu’il faudrait encore tester.