III) Significativité ou pourquoi l'absence de preuve n'est pas une preuve d'absence.

Avez-vous déjà entendu que la conclusion d’une étude mène à l’absence, de différences significatives entre deux produits ? Si oui, en avez vous conclu que cela revenait à la preuve de l'absence de différence entre ces deux produits ?

Eh bien non, cela ne prouve pas l’absence de différence, et la zététique attache une importance à ne pas confondre les deux.

En 2009 Le Monde publiait un article “Selon un mathématicien, la fiabilité statistique des études portant sur les effets sanitaires des OGM est insignifiante” voir lien

Voici quelques extraits de cet article:

“les chercheurs de Monsanto avaient conclu, en 2005, dans la revue Food and Chemical Toxicology, à l'absence de différences "significatives" entre les groupes de rongeurs examinés[...]Marc Lavielle renvoie les deux analyses dos à dos - la première étant selon lui un peu "légère",

“Le nombre de rongeurs testés est toujours trop faible pour détecter des effets fins."C'est pourtant un travail qui est fait tous les jours par les statisticiens des laboratoires pharmaceutiques : on pose la variation d'un paramètre, par exemple le poids de l'animal, à partir de laquelle on estime qu'il y a un effet préoccupant, ensuite on établit le niveau de certitude qu'on veut atteindre dans la détection de cet effet. A partir de ces données, on peut établir la taille de l'échantillon nécessaire." ”

On va essayer de compléter le travail journalistique du monde dans un post expliquant le phénomène mathématique correspondant et voir pourquoi les deux affirmations du début ne sont pas égales.

L’absence de différence significative  ≠ absence de différence

Pour commencer il faut définir le mot qui différencie les deux affirmations: la significativité.

La significativité statistique est un moyen de vérifier à quel point une étude se basant sur un échantillonnage est “juste”.

Je m’explique:

-seront considérés comme significatifs des résultats qui permettent de rejeter l'hypothèse nulle

-seront considérés comme non significatifs des résultats qui ne permettent pas de rejeter l'hypothèse nulle

Note: généralement des résultats non significatifs ne servent pas à grand chose.

Hypothèse nulle (H0) : les variables testés au cours de l’expérience n’ont aucun effet sur le résultat, le phénomène étudié et les résultats sont dus au hasard (ou à un autre effet ex: effet placebo en pharmacie sur l'étude d'un médicament )

opposée à

Hypothèse alternative (H1): n’importe quelle autre hypothèse qui diffère de H0

Mais quels sont les critères permettant de rejeter une hypothèse nulle?

Il faut que la p-valeur (ou p-value), qui est la probabilité que les résultats obtenus ou des résultats encore plus en faveur de H1, soit dus au phénomène de H0 le hasard (ou autre comme l’effet placebo) soit en dessous du seuil de significativité.

Par définition, le seuil de significativité est donc le risque de rejeter l’hypothèse nulle alors qu’elle est vraie.

Par exemple en prenant un seuil de significativité  α=0,05 soit 5% :

si la p-valeur > 0,05 l’hypothèse nulle ne peut être rejetée donc les résultats ne sont pas significatifs.

si la p-valeur < 0,05 l’hypothèse nulle peut être rejetée au profit de l’hypothèse alternative.

Différents seuils de significativité sont utilisés en fonctions des enjeux de l’étude :

p-valeur peut ainsi être de 5% ; 1% ; 0,1% ou encore en dessous. Le seuil de significativité ne peut pas être le même pour toutes les sciences à cause de leurs différences.

Le seuil de significativité doit être défini avant le calcul de la valeur p.

Certains considèrent que la valeur p permet de témoigner du niveau de significativité de l’étude c’est à dire que, par exemple, pour un seuil à 5%, une valeur p de 1% sera plus significative qu’une valeur p de 4%.

Tandis que pour d’autres la significativité est définie strictement par rapport au seuil choisi et dans les deux cas la significativité est la même.

Tableau récapitulatif des probabilités d'aboutir à chaque décision selon la situation

Si vous vous demandez pourquoi des résultats chiffrés nous donnent des probabilités, allez voir l'annexe à ce post.

Pour un seuil de significativité  α

Décision\situation	H0 est vraie	H0 est fausse
ne pas rejeter H0	décision juste de probabilité 1 - α	erreur de deuxième espèce de probabilité  β
rejeter H0	erreur de première espèce  de probabilité   α	décision juste de probabilité 1-β

β dépend de plusieurs facteurs:

- plus α est petit plus β est grand.

-plus la dispersion (l'écart type) des données est grande plus β l'est aussi (quand il y a lieu d'une dispersion).

-plus la taille de l'échantillon est grand, plus β sera petit.

-l'importance de l'effet: plus la différence entre les probabilités des deux hypothèses H0 et H1 est faible, plus β sera grand.

1-β est appelé la puissance du test.

Voici ci-dessous deux exemples : (ce site dans la partie animation, propose de faire varier nous même les paramètres liés à la significativité).

L'un en haut, nous montre des paramètres laissant un β bien trop  grand .

L'autre en bas, nous montre ce que ça donne en modifiant chaque paramètre un petit peu pour réduire β.

En pratique, il n'est pas possible de modifier tous les facteurs faisant varier β, énoncés ci-dessus et utilisés ci dessous, souvent le plus simple à modifier est la taille de l'échantillon.

μ étant la fréquence d'apparition du caractère (attention la moyenne μ de H1 peut être une inconnue) n étant la taille de l'échantillon et σ étant l'écart type qui fait foi de la dispersion des données ici H1 est considéré comme réalité

Explication du cas OGM présenté au début du post

Marc Lavielle le statisticien interviewé dans Le Monde considérait l’étude, concluant en l’absence de différences significatives, comme “légère”.

L’absence de différences significatives correspond au non rejet de l’hypothèse nulle qui a un risque β d’arriver alors qu'elle est fausse.

La considération comme "légère" de cette étude induit que le risque β est bien trop grand. Plus loin dans l’article, il pointe du doigt la taille de la population qu’il juge trop petite et en effet, comme indiqué plus haut, il est possible de réduire le risque β en augmentant la taille de l’échantillon.

l'absence de différence significative	≠	la significativité de l'absence de différence
=	≠	=
l'absence de preuve (ne pas rejeter H0)	≠	la preuve de l'absence (accepter H0)