Erste historische Daten aus Twitter [geschlossen]
https://stackoverflow.com/questions/1662151
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianFrage
Für ein Forschungsprojekt würde Ich mag die letzten 3 Monate im Wert von Twitter-Nachrichten erhalten. Technische Herausforderungen beiseite lässt, ist das möglich? durch eine Art langsamen Abfragemechanismus mit dem Geschwindigkeitsbegrenzer in Schach zu halten?
Die Twitter-API-Staaten „Clients zu 3.200 Status über die Seite anfordern kann bis und zählen Parameter für Timeline REST API“ Sind diese pro Stunde? Pro Tag? oder ... jemals?
Irgendwelche Vorschläge? Wäre es theoretisch sogar möglich? Haben Sie jemand etwas ähnliches vor?
Danke! Marco
Lösung
Twitter ist notorisch nicht machen „verfügbar“ Tweets älter als drei Wochen. In einigen Fällen können Sie nur eine Woche. Du bist besser dran Tweets für die nächsten drei Monate zu speichern. Viele mit Recht bezweifeln, ob sie auch von Twitter anhielt.
Möchten Sie nur irgendwelche Tweets? Wenn ja, überprüfen Sie die Streaming-API Status / Probe Methode. Das Streaming-API verwendet persistentes HTTP-Sockets, ein Schmerz-Programm sein kann, aber es ist ziemlich anmutig, wenn Sie es Arbeit bekommen. Ich würde empfehlen, ein kleines Skript einrichten Tweets in eine DB aus Status / Probe zu entleeren. Sie sollten eine TON von Daten nach nur wenigen Tagen haben.
Andere Tipps
Sie die Such-API verwenden können, tun Sie es nicht um eine Suche geben, die maximal 100 pro Seite zurückzukehren, bekam dann durch jede Seite zweimal eine Minute (120 mal pro Stunde - 30-mal weniger als die Rate Grenze). das könnte jedoch, wenn meine Mathe richtig ist, möglicherweise gibt Sie 720.000 Tweets eine Stunde ..... das Problem ist, dass Twitter etwa 1,75 Milliarden Tweets in den letzten 3 Monaten hinzugefügt. Also, wenn meine Mathe richtig ist, es würde Sie 2.361 Tage oder 6 Jahre, dies zu beenden.
Sie konnten diese Frage über auf der Twitter-Entwicklung sprechen auf Google Groups oder Twitter Kontakt weiße Liste zu bekommen, so dass Sie zu 20.000 Anfragen pro Stunde machen könnten.
Ich persönlich glaube nicht, es ist möglich.
DataSift beansprucht ein twitter historischen Daten api hat bald kommen, können Sie signup benachrichtigt werden, wenn sie zur Verfügung stehende hier .
Das kann nicht bestanden haben, wenn Sie zuerst die Frage gestellt, aber die „PeopleBrowsr“ API ist perfekt für diese und Sie können 1400 Tage mit einem einzigen API-Aufruf zurückgehen: https://developer.peoplebrowsr.com/pb
Ich hoffe, das hilft!
Keyhole können Sie historische Tweets in xls erhalten oder sie in einem visuellen Armaturenbrett präsentieren. Die Vorschau Proben nur ein paar letzten Tweets, jedoch können Sie historische Daten anfordern, wenn Sie sie per E-Mail.
Siehe auch: http://keyhole.co/conversation_tracking
Sie können die twitter historischen Daten mit Gnip Historic Powertool lesen. Es wird Ihnen seit ersten Tweet an alle Twitter-Daten zugreifen und ziemlich es ist sehr einfaches Werkzeug t Gebrauch.
Sie können kostenlos Schätzungen für den Datenumfang und Kosten mit einem Service gebaut von meiner Firma bekommen genannt Sichter . Wenn Sie sich entscheiden, den Zugriff auf die Daten zu kaufen, wird es über unsere Textanalyse-Plattform zur Verfügung DiscoverText , wo Sie suchen, Filter , de-Duplikat, Cluster, Mensch-Code und Maschinen klassifizieren die Daten.
