Quando sono valori di p ingannevole?

Question

Quali sono le condizioni di dati che dovremmo guardare fuori per, in cui valori di p non può essere il modo migliore per decidere significatività statistica? Esistono specifici tipi di problemi che rientrano in questa categoria?

Answer 1

Si sta chiedendo informazioni su dati dragaggio , che è ciò che accade quando si verifica un numero molto elevato di ipotesi nei confronti di un insieme di dati o verifica di ipotesi nei confronti di un insieme di dati che sono stati suggerito dagli stessi dati.

In particolare, controlla multipla pericolo ipotesi , e verifica di ipotesi suggerita dai dati .

La soluzione è quella di utilizzare una sorta di correzione per false discovery rate o Familywise tasso di errore, come ad esempio il metodo di Scheffé o (molto vecchia scuola) Bonferroni correzione .

In modo alquanto meno rigorosa, può essere utile per filtrare i giacimenti attraverso l'intervallo di confidenza per l'odds ratio (OR) per ogni risultato statistico. Se l'intervallo di confidenza del 99% per il rapporto di probabilità è 10-12, allora l'OR è <= 1 con alcune molto piccola probabilità, specialmente se la dimensione del campione è grande. Se si trova qualcosa di simile, è probabilmente un effetto forte, anche se ne è venuto fuori di una prova di milioni di ipotesi.

Answer 2

Non si dovrebbe prendere in considerazione il valore p fuori contesto.

Un punto piuttosto quella di base (come illustrato da xkcd ) è che è necessario prendere in considerazione il numero di test che si' ri effettivamente facendo. Ovviamente, non si dovrebbe essere scioccato nel vedere p <0,05 per uno su 20 prove, anche se l'ipotesi nulla è vera ogni volta.

Un più sottile esempio di ciò si verifica nella fisica ad alta energia, ed è noto come il look- altrove effetto . Il grande spazio il parametro si cerca un segnale che potrebbe rappresentare una nuova particella, più è probabile che sono di vedere un segnale evidente che in realtà è solo a causa di fluttuazioni casuali.

Answer 3

Una cosa che si dovrebbe essere a conoscenza è la dimensione del campione che si sta utilizzando. Campioni molto grandi, come economisti utilizzando dati censimento, porteranno a valori p sgonfi. Questo documento "Troppo Big to Fail: grandi campioni e il p-value problema " copre alcune delle questioni.