Cuando son engañosos valores de p?

Question

¿Cuáles son las condiciones de los datos que hay que mirar hacia fuera para, en donde los valores de p pueden no ser la mejor manera de decidir la significación estadística? ¿Hay tipos de problemas específicos que entran en esta categoría?

Answer 1

href="http://en.wikipedia.org/wiki/Data_dredging"> datos de dragado, que es lo que sucede cuando se prueba un gran número de hipótesis respecto a un conjunto de datos o probar hipótesis en contra de un conjunto de datos que fueron sugeridas por los mismos datos.

En particular, echa un vistazo a múltiple peligro hipótesis , y Pruebas de hipótesis sugeridas por los datos .

La solución es utilizar algún tipo de corrección para Falso descubrimiento tasa href="http://en.wikipedia.org/wiki/False_discovery_rate"> o Familywise tasa de error, tales como el método de Scheffé o la (muy vieja escuela) corrección de Bonferroni .

En una forma algo menos rigurosa, que puede ayudar a filtrar los descubrimientos por el intervalo de confianza para la razón de posibilidades (OR) para cada resultado estadístico. Si el intervalo de confianza del 99% para el odds ratio es de 10-12, entonces el OR es <= 1 con algunos extremadamente pequeña probabilidad, especialmente si el tamaño de la muestra es también grande. Si encuentra algo como esto, es probable que sea un efecto fuerte, incluso si se trataba de una prueba de millones de hipótesis.

Answer 2

No se debe considerar el valor de p fuera de contexto.

Uno de los puntos más básicos (como se ilustra por xkcd ) es que debe tener en cuenta el número de pruebas que usted' volver a hacerlo realmente. Obviamente, usted no debe ser sorprendido de ver p <0,05 para uno de cada 20 pruebas, incluso si la hipótesis nula es verdadera en todo momento.

Un ejemplo más sutil de esto ocurre en la física de alta energía, y es conocido como el Look- en otros lugares efecto . El espacio del parámetro más grande que la búsqueda de una señal que podría representar una nueva partícula, más probabilidades hay de ver una señal evidente de que en realidad es sólo debido a las fluctuaciones aleatorias.

Answer 3

Una cosa que debe tener en cuenta es el tamaño de la muestra que está utilizando. Muestras muy grandes, tales como economistas utilizando datos del censo, darán lugar a valores de p desinflados. Este papel "Demasiado grandes para caer: las grandes muestras y el valor P Problema " cubre algunos de los problemas.