Obtenir des données historiques de Twitter [clos]

Question

Pour un projet de recherche je voudrais obtenir les 3 derniers mois de valeur des messages Twitter. Les défis techniques mis à part, est-ce possible? en utilisant une sorte de mécanisme de vote lent pour maintenir le limiteur de vitesse à distance?

Les états de l'API Twitter « Les clients peuvent demander jusqu'à 3.200 statuts via la page et compte des paramètres pour l'API REST Timeline » sont-elles par heure? Par jour? ou ... jamais?

Toutes les suggestions? Serait-il même théoriquement possible? Est-ce que quelqu'un fait quelque chose de semblable auparavant?

Merci! Marco

Answer 1

Twitter ne fait pas notoirement tweets « disponibles » plus de trois semaines. Dans certains cas, vous ne pouvez obtenir une semaine. Vous êtes mieux stocker les tweets pour les trois prochains mois. Beaucoup doutent à juste titre si elles sont même persisté par Twitter.

Vous cherchez seulement des tweets? Dans ce cas, consultez l'API de streaming état / échantillon méthode . L'API de streaming utilise des sockets HTTP persistantes qui peuvent être une douleur au programme, mais il est tout à fait gracieux quand vous le faire fonctionner. Je recommande la mise en place d'un petit script pour vider les tweets de l'état / échantillon dans un DB. Vous devriez avoir une tonne de données après seulement quelques jours.

Answer 2

Vous pouvez utiliser l'API de recherche, ne donnent pas une recherche, retourner le maximum de 100 par page, puis se par chaque page deux fois par minute (120 fois par heure - 30 fois moins que la limite de vitesse). Cependant, si mes calculs sont exacts, cela pourrait peut-être vous donner 720.000 tweets à l'heure ..... le problème est que Twitter a ajouté environ 1,75 milliard de tweets au cours des 3 derniers mois. Donc, si mes calculs sont exacts, il vous faudrait 2361 jours ou 6 ans pour compléter cela.

Vous pouvez poser cette question sur le Twitter de développement parler sur Google Groupes, ou communiquez avec Twitter pour obtenir la liste blanche pour que vous puissiez faire jusqu'à 20.000 demandes par heure.

Personnellement, je ne pense pas qu'il soit possible.

Answer 3

DataSift prétend avoir un historique des données twitter api coming soon, vous pouvez inscrire pour être informé dès son rel="nofollow"> disponible .

Answer 4

Cela peut ne pas exister lorsque vous posé la question, mais l'API « PeopleBrowsr » est parfait pour cela et vous pouvez revenir en arrière 1400 jours avec un simple appel API: https://developer.peoplebrowsr.com/pb

L'espoir qui aide!

Answer 5

Keyhole pouvez-vous obtenir tweets historiques xls ou les présenter dans un tableau de bord visuel. Les échantillons d'aperçu que quelques tweets les plus récents, cependant, vous pouvez demander des données historiques si vous les envoyer par courriel.

Voir: http://keyhole.co/conversation_tracking

Answer 6

Vous pouvez lire les données historiques twitter en utilisant l'outil PowerTrack historique de Gnip. Il vous donnera accès à toutes les données twitter depuis le premier tweet et il est assez utiliser l'outil t très simple.

Answer 7

Vous pouvez obtenir des devis gratuits pour le champ de données et les coûts en utilisant un service construit par ma compagnie appelée tamiseur. Si vous décidez d'acheter l'accès aux données sera disponible via notre plate-forme d'analyse de texte DiscoverText , où vous pouvez rechercher, filtrer , de-double, cluster, le code humain et machine classifient les données.