Wann täuschen P-Werte?

Question

Auf welche Datenbedingungen sollten wir achten sollten, wo P-Werte möglicherweise nicht der beste Weg sind, um statistische Bedeutung zu entscheiden? Gibt es spezielle Problemtypen, die in diese Kategorie fallen?

Answer 1

Sie fragen nach Datenbagger, was passiert beim Testen einer sehr großen Anzahl von Hypothesen gegen einen Datensatz oder beim Testen von Hypothesen gegen einen Datensatz, der durch dieselben Daten vorgeschlagen wurde.

Insbesondere auschecken Mehrfachhypothesegefahr, und Testen von den Daten vorgeschlagenen Hypothesen.

Die Lösung besteht darin, eine Art von Korrektur für zu verwenden Falsche Entdeckungsrate oder Familienwise Fehlerrate, wie zum Beispiel Scheffés Methode oder die (sehr alte Schule) Bonferroni -Korrektur.

Auf etwas weniger strenge Wenn das 99% -Konfidenzintervall für das Quotenverhältnis 10-12 beträgt, dann ist das oder ist <= 1 mit einigen äußerst Kleine Wahrscheinlichkeit, insbesondere wenn die Probengröße ebenfalls groß ist. Wenn Sie so etwas finden, ist es wahrscheinlich ein starker Effekt, auch wenn es aus einem Test von Millionen von Hypothesen hervorgeht.

Answer 2

Sie sollten den p-Wert nicht aus dem Kontext betrachten.

Ein ziemlich grundlegender Punkt (wie von dargestellt von xkcd) ist, dass Sie überlegen müssen, wie viele Tests Sie tatsächlich durchführen. Offensichtlich sollten Sie nicht schockiert sein, P <0,05 für einen von 20 Tests zu sehen, auch wenn die Nullhypothese jedes Mal wahr ist.

Ein subtileres Beispiel dafür tritt in der energiegeladenen Physik auf und ist als die bekannt Look-elsewhere-Effekt. Je größer der Parameterraum, den Sie nach einem Signal suchen, das möglicherweise ein neues Partikel darstellt, desto wahrscheinlicher ist es, dass Sie ein scheinbares Signal sehen, das wirklich nur auf zufällige Schwankungen zurückzuführen ist.

Answer 3

Eine Sache, die Sie sich bewusst sein sollten, ist die Beispielgröße, die Sie verwenden. Sehr große Proben wie Ökonomen, die Volkszählungsdaten verwenden, führen zu entleerten P-Werten. Dieses Papier "Zu groß, um zu scheitern: Große Proben und das P-Wert-Problem" behandelt einige der Probleme.