Statistiques : ce qu’un résultat montre vraiment.

Une étude observe un échantillon, non une population entière. Les statistiques permettent de résumer ce qui a été observé et d’évaluer ce que cet échantillon autorise à estimer au-delà de lui. Elles ne corrigent ni une mesure mal définie, ni un échantillon biaisé, ni une question théorique confuse.

Décrire, estimer, tester et prédire répondent à des questions différentes. Les confondre produit des résultats techniquement calculés mais mal interprétés.

L’erreur standard décrit la variabilité attendue d’un estimateur entre échantillons sous un modèle donné. Elle diminue généralement quand l’information augmente, mais une estimation très précise peut rester systématiquement biaisée si la population recrutée, la mesure ou les données observées sont inadéquates.

L’échantillonnage aléatoire vise la généralisation vers une population parce qu’il donne à ses unités une probabilité connue de sélection. L’assignation aléatoire répartit, elle, les participants déjà recrutés entre conditions afin d’améliorer leur comparabilité et soutenir une inférence causale. Ni l’un ni l’autre ne dispense d’examiner recrutement, exclusions, abandons et contexte.

Le d de Cohen, le coefficient de corrélation, la différence de risque ou l’odds ratio répondent à des questions différentes. Ils ne deviennent pas importants parce qu’ils franchissent une convention ; l’importance pratique dépend du domaine, de la mesure, des coûts et des bénéfices.

Un intervalle de confiance représente une plage d’estimations compatibles avec les données et le modèle selon une procédure choisie. Le fait qu’il inclue ou non zéro peut correspondre à un test bilatéral courant, mais ne doit pas devenir un nouveau bouton rouge ou vert : largeur, valeurs plausibles et pertinence comptent tout autant.

Ajouter une covariable n’est pas toujours une correction prudente. Selon son rôle causal, l’ajustement peut réduire une confusion, ne rien clarifier ou introduire un biais, notamment en contrôlant une collision. La justification doit précéder la sélection automatique de variables : un coefficient ajusté reste, par défaut, une association conditionnelle au modèle spécifié.

Graphiques de résidus, observations influentes et vérification de la forme fonctionnelle permettent de repérer des problèmes qu’une p-value ne signale pas. Une violation n’impose pas toujours d’abandonner l’analyse, mais peut demander une transformation, une méthode robuste, une modélisation différente ou une interprétation plus prudente.

Le bootstrap rééchantillonne les données pour approcher la variabilité d’une estimation ; il ne transforme pas un échantillon biaisé en échantillon représentatif. Quand le résultat est binaire, un modèle logistique est souvent adapté ; pour des comptages, on utilise fréquemment des modèles de Poisson ou binomiaux négatifs ; d’autres familles de modèles linéaires généralisés conviennent à d’autres types de résultats catégoriels ou de proportions. Des méthodes par rangs ou de permutation peuvent aussi convenir à certaines questions lorsque leurs hypothèses et leur cible correspondent mieux aux données ; elles ne sont pas des solutions automatiques à tout problème de modèle.

La puissance dépend de l’effet ciblé, de la taille d’échantillon, de la variabilité et du seuil. Un grand échantillon peut rendre statistiquement détectables des effets très petits ; il ne rend pas miraculeusement significatif un effet exactement nul sous un test correctement calibré.

Une étude sous-puissante produit des estimations imprécises et augmente le risque de résultats instables ou exagérés parmi les résultats sélectionnés. Un calcul utile doit partir d’un effet minimal pertinent ou d’une précision visée, de préférence avant la collecte.

Les corrections de comparaisons multiples contrôlent des risques différents. La procédure de Benjamini-Hochberg est une procédure générale proposée en 1995, particulièrement diffusée ensuite dans les domaines à très grand nombre de tests, comme la génomique.

L’exploration reste indispensable, mais elle doit être nommée comme telle. Préenregistrer les décisions confirmatoires, rapporter les exclusions et analyses réalisées, ou utiliser des Registered Reports réduit la confusion entre une prédiction risquée et une hypothèse formulée après observation des données.

Une donnée manquante n’est pas seulement une case vide : son absence peut être liée à l’organisation de l’étude, aux variables déjà observées ou à la valeur qui n’a pas été observée. MCAR suppose que la non-observation ne dépend ni des données observées ni de celles qui manquent ; MAR suppose que, conditionnellement aux informations observées pertinentes, elle ne dépend pas de la valeur manquante elle-même ; MNAR autorise une dépendance aux valeurs manquantes elles-mêmes. Ces catégories décrivent des hypothèses sur le mécanisme de non-réponse, non des diagnostics que les seules données observées permettraient de trancher simplement.

Analyser seulement les cas complets peut réduire la précision et, selon le mécanisme de non-réponse, produire un biais. L’imputation multiple crée plusieurs jeux de données plausibles à partir des informations observées, estime le modèle dans chacun puis combine les résultats en conservant l’incertitude due au manque. Remplacer une valeur par une seule moyenne ou prédiction traite à tort l’imputation comme certaine. Lorsque MNAR reste plausible, une analyse de sensibilité examine comment les conclusions changeraient sous des hypothèses alternatives.

Plusieurs observations d’une même personne, des élèves d’une même classe ou des patients suivis par un même thérapeute partagent généralement un contexte et une partie de leur variation. Cette dépendance modifie l’incertitude : traiter chaque ligne comme indépendante peut sous-estimer les erreurs standards et donner une précision artificielle.

Les modèles multiniveaux représentent cette structure par des niveaux, par exemple mesures au sein des personnes puis personnes au sein de classes. Reprenons l’exemple d’une même personne mesurée plusieurs jours : un intercept variable autorise un niveau moyen différent d’une personne à l’autre (certaines dorment mieux en moyenne que d’autres), et une pente variable autorise que l’association entre stress et sommeil diffère aussi d’une personne à l’autre. Cette distinction sépare une variation intra-individuelle (un jour plus stressant qu’un autre, pour la même personne) d’une différence interindividuelle moyenne (certaines personnes plus stressées en moyenne que d’autres). Ce ne sont pas des raffinements décoratifs, mais une manière de faire correspondre le modèle aux unités qui ont produit les données.

L’inférence bayésienne permet d’actualiser explicitement des distributions de probabilité sur des paramètres ou des modèles à partir d’un a priori et des données observées. Les conclusions dépendent donc aussi du modèle et des distributions a priori spécifiés.

Un facteur de Bayes est le rapport des vraisemblances marginales des données sous deux modèles. Combiné aux probabilités a priori attribuées à chaque modèle, il permet d’obtenir les probabilités a posteriori ; il n’est donc pas, à lui seul, la probabilité postérieure d’une hypothèse. Un test d’équivalence cherche à montrer que l’effet se situe à l’intérieur de deux marges bilatérales préspécifiées, par exemple pour montrer qu’un médicament générique n’est ni meilleur ni pire qu’un médicament de référence au-delà d’un seuil jugé négligeable. Un test de non-infériorité utilise une marge directionnelle pour évaluer si une intervention n’est pas suffisamment moins efficace qu’un comparateur pour être considérée inférieure, par exemple pour montrer seulement qu’un traitement moins coûteux n’est pas pire qu’un traitement de référence. Dans les deux cas, la justification de la marge est substantielle et non purement statistique.

Une méta-analyse est un outil majeur de synthèse quantitative, non le sommet automatique d’une hiérarchie de preuves. La pondération par précision donne davantage de poids aux estimations plus précises, souvent issues de grandes études ; elle ne détecte pas automatiquement un biais méthodologique.

Biais de publication, hétérogénéité et choix d’inclusion peuvent modifier fortement une estimation combinée. Préenregistrement, partage raisonné des données et du code, réplications et Registered Reports rendent les décisions d’analyse plus vérifiables sans garantir à eux seuls qu’une question est bien posée.