P-hacking

Le p-hacking désigne l’ensemble des choix analytiques flexibles pris après avoir vu les données, comme arrêter la collecte au bon moment, choisir la mesure qui fonctionne ou exclure certains participants après coup, qui font grimper le taux réel de faux positifs bien au-delà du seuil affiché de 5 %. Joseph Simmons, Leif Nelson et Uri Simonsohn en font la démonstration en 2011 dans un article devenu une référence de méthodologie, en montrant qu’un nombre modeste de tels choix, chacun défendable isolément, suffit à produire une preuve statistiquement significative d’un effet qu’ils savaient eux-mêmes impossible.

En détail

Le problème du p-hacking ne tient pas à une malhonnêteté individuelle mais à un cumul silencieux : chaque décision, arrêter l’expérience un peu plus tôt, tester une variable de plus, retirer un participant jugé atypique, peut sembler raisonnable prise isolément, mais leur combinaison non déclarée peut faire grimper le taux de faux positifs jusqu’à plus de 60 % dans certaines simulations, loin des 5 % nominaux attendus par un lecteur non averti.

Exemples

Un chercheur teste cinq mesures différentes d’anxiété et ne rapporte dans l’article que la seule mesure devenue significative.
Une équipe arrête la collecte de données dès qu’un résultat franchit le seuil de significativité, sans avoir fixé cette règle à l’avance.

Dans les dossiers de Psychotheca

Méthodologie : La flexibilité peut fabriquer des résultats convaincants

Dans les lectures guidées

Quand peut-on vraiment croire un résultat scientifique ?

Notions liées

Valeur p (p-value) Comparaisons multiples Préenregistrement

Sources

Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. Consulter
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. Consulter
Chambers, C. D. (2013). Registered reports: A new publishing initiative at Cortex. Cortex, 49(3), 609–610. Consulter
Simonsohn, U., Nelson, L. D., & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534–547. Consulter

Ces contenus sont des ressources d’information. Ils ne remplacent pas une évaluation ou un accompagnement par un professionnel de santé.