Obtener datos históricos de Twitter [cerrada]
https://stackoverflow.com/questions/1662151
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianPregunta
En un proyecto de investigación que le gustaría obtener los 3 últimos meses el valor de los mensajes de Twitter. retos técnicos a un lado, ¿es esto posible? mediante el uso de algún tipo de mecanismo de sondeo lenta para mantener el limitador de velocidad a la bahía?
Los estados de la API de Twitter "Los clientes pueden solicitar hasta 3.200 estados a través de la página y el recuento de los parámetros de API REST línea de tiempo" Son estos por hora? ¿Por día? o ... nunca?
¿Alguna sugerencia? ¿Sería incluso ser teóricamente posible? Hizo alguien haga algo similar antes?
Gracias! Marco
Solución
Twitter notoriamente no hace tweets "disponibles" de más de tres semanas. En algunos casos sólo se puede obtener de una semana. Es mejor que el almacenamiento de los tweets durante los próximos tres meses. Muchos dudan con razón, incluso si están persistieron por Twitter.
¿Está buscando sólo los tuits? Si es así, echa un vistazo a estado / muestra método. La API de streaming utiliza sockets HTTP persistentes que pueden ser un dolor de programar, pero es muy elegante cuando usted lo consigue trabajo. Me gustaría recomendar la creación de un pequeño script para volcar los tweets de estado / muestra en un DB. Usted debe tener un montón de datos después de unos pocos días.
Otros consejos
Se puede utilizar la API de búsqueda, no le dan una búsqueda, devuelva el máximo del 100 por página, luego se puso a través de cada página dos veces por minuto (120 veces por hora - 30 veces menos que el límite de velocidad). Sin embargo, si mis matemáticas son correctas, que podría posiblemente le dan 720.000 tuits por hora ..... el problema es que Twitter ha añadido aproximadamente 1,75 billón de tweets durante los últimos 3 meses. Así que si mis matemáticas es correcta, le tomaría 2361 días, o 6 años para completar esta.
Se podría hacer esta pregunta sobre el Desarrollo hablar Twitter en Google Groups, o ponerse en contacto con Twitter para obtener blanca que aparece lo que podría hacer hasta 20.000 peticiones por hora.
En lo personal, yo no creo que sea posible.
DataSift dice tener una histórica Twitter API de datos en breve, puede registrarse para ser notificado cuando su disposición rel="nofollow"> .
Esto puede no haber existido la primera vez que hizo la pregunta, pero la API "PeopleBrowsr" es perfecto para esto y se puede volver atrás 1400 días con una sola llamada a la API: https://developer.peoplebrowsr.com/pb
Espero que ayude!
ojo de la cerradura se puede obtener los tweets históricos en xls o presentarlos en un panel de control visual. Las muestras de vista previa sólo unos tweets más recientes, sin embargo, puede solicitar datos históricos si enviarlas por correo electrónico.
Usted puede leer los datos históricos de Twitter utilizando la herramienta PowerTrack Histórico de Gnip. Se le dará acceso a todos los datos de Twitter desde el primer tweet y bastante es muy simple uso de la herramienta t.
Puede obtener presupuestos gratuitos para el alcance de datos y el costo usando un servicio construido por mi compañía llamada Tamiz . Si decide comprar el acceso a los datos que estará disponible a través de nuestra plataforma de análisis de texto DiscoverText , donde se puede buscar, filtrar , de-duplicado, racimo, código humana, y la máquina-clasificar los datos.
