Quand sont p-valeurs trompeuses?

Question

Quelles sont les conditions de données que nous devons surveiller, où les valeurs p peuvent ne pas être la meilleure façon de décider la signification statistique? Y at-il des types de problèmes spécifiques qui entrent dans cette catégorie?

Answer 1

Vous demandez à propos données href="http://en.wikipedia.org/wiki/Data_dredging"> Dragage, qui est ce qui se passe lors du test d'un très grand nombre d'hypothèses sur un ensemble de données ou tester des hypothèses contre un ensemble de données qui ont été suggéré par les mêmes données.

En particulier, consultez multiples risque d'hypothèse et l'essai des hypothèses suggéré par le de données.

La solution est d'utiliser une sorte de correction pour taux de faux positifs ou Familywise , comme la méthode de Scheffé ou (très vieille école) Bonferroni .

D'une certaine manière un peu moins rigoureuse, il peut aider à filtrer vos découvertes par l'intervalle de confiance pour le odds ratio (OR) pour chaque résultat statistique. Si l'intervalle de confiance de 99% pour le rapport de cotes est 10-12, l'OR est <= 1 avec une très faible probabilité, surtout si la taille de l'échantillon est également importante. Si vous trouvez quelque chose comme ça, il est probablement un fort effet même si elle est sorti d'un test de millions d'hypothèses.

Answer 2

Vous ne devriez pas considérer la p-valeur hors contexte.

Un point assez basique (comme illustré par xkcd ) est que vous devez considérer le nombre de tests que vous » re réellement faire. De toute évidence, vous ne devriez pas être surpris de voir p <0,05 pour un sur 20 tests, même si l'hypothèse nulle est vraie à chaque fois.

Un exemple plus subtil de ce produit dans la physique des hautes énergies, et est connue sous le look- effet ailleurs. Plus l'espace des paramètres que vous recherchez un signal qui pourrait représenter une nouvelle particule, plus vous êtes susceptible de voir un signal apparent qui est vraiment juste en raison des fluctuations aléatoires.

Answer 3

Une chose que vous devriez prendre en compte est la taille de l'échantillon que vous utilisez. très grands échantillons, comme les économistes à l'aide des données du recensement, conduisent à des valeurs de p-dégonflé. Ce document "Trop big to fail: grands échantillons et la valeur p-problème " couvre certaines des questions.