Ottenere i dati storici da Twitter [chiusa]

Question

Per un progetto di ricerca Vorrei ottenere gli ultimi 3 mesi di messaggi di Twitter. sfide tecniche a parte, è possibile? utilizzando una sorta di meccanismo di polling lenta per tenere il limitatore tasso a bada?

L'API di Twitter stati "I clienti possono richiedere fino a 3.200 stati tramite la pagina e contare i parametri per cronologia REST API" Sono queste per ora? Al giorno? o ... mai?

Qualche suggerimento? Sarebbe anche essere teoricamente possibile? Forse qualcuno fare qualcosa di simile prima d'ora?

Grazie! Marco

Answer 1

Twitter notoriamente non fa tweets "disponibile" di età superiore a tre settimane. In alcuni casi si può ottenere solo una settimana. È meglio memorizzare i tweet per i prossimi tre mesi. Molti giustamente dubbio se sono ancora persistevano da Twitter.

Sei alla ricerca di un qualsiasi tweets? Se è così, controlla Stato / assaggiare metodo. L'API di streaming utilizza i socket HTTP continue che possono essere un dolore al programma, ma è abbastanza graziosa quando lo si ottiene lavorando. Mi consiglia la creazione di un piccolo script per eseguire il dump tweet da Stato / campione in un DB. Si dovrebbe avere una tonnellata di dati dopo pochi giorni.

Answer 2

È possibile utilizzare l'API di ricerca, non dargli una ricerca, restituire il massimo di 100 per pagina, quindi ottenuto attraverso ogni pagina due volte al minuto (120 volte all'ora - 30 volte inferiori al limite tasso). Tuttavia, se la mia matematica è corretta, che potrebbe darvi 720.000 tweet all'ora ..... il problema è che Twitter ha aggiunto circa 1,75 miliardi di tweet nel corso degli ultimi 3 mesi. Quindi, se la mia matematica è corretta, ci vorrebbe 2361 giorni, o 6 anni per completare questo.

Si potrebbe chiedere a questa domanda nel corso del Twitter lo sviluppo parlare su Google Gruppi, oppure contattare Twitter per ottenere white list in modo si potrebbe fare fino a 20.000 richieste all'ora.

Personalmente, non credo che sia possibile.

Answer 3

DataSift sostiene di avere un api dati storici Twitter in arrivo, è possibile iscriversi per ricevere una notifica quando il suo disponibili qui .

Answer 4

Questo non può essere stata presente quando ha chiesto prima la domanda, ma l'API "PeopleBrowsr" è perfetto per questo e si può tornare indietro 1400 giorni con una sola chiamata API: https://developer.peoplebrowsr.com/pb

Speranza che aiuta!

Answer 5

Keyhole si può ottenere tweets storici in xls o presentarle in un cruscotto visivo. I campioni di anteprima solo pochi tweet più recenti, tuttavia, è possibile richiedere i dati storici se li email.

Si veda: http://keyhole.co/conversation_tracking

Answer 6

È possibile leggere i dati storici di Twitter utilizzando lo strumento PowerTrack storico di Gnip. Essa vi darà accesso a tutti i dati di Twitter dal primo tweet e abbastanza è molto semplice da usare strumento t.

Answer 7

È possibile ottenere preventivi gratuiti per l'ambito dei dati e dei costi utilizzando un servizio costruita dalla mia azienda chiamata setaccio . Se si decide di acquistare l'accesso ai dati sarà disponibile tramite la nostra piattaforma di analisi del testo DiscoverText , in cui è possibile cercare, filtrare , de-duplicazione, cluster, codice umano, e la macchina-classificano i dati.