Públicamente disponibles conjuntos de datos de redes sociales / API

https://datascience.stackexchange.com/questions/422

16-10-2019
|

Pregunta

Como una extensión de nuestra gran lista de públicamente conjuntos de datos disponibles , me gustaría saber si hay alguna lista de conjuntos de datos disponibles públicamente de redes sociales / rastreo de API. Sería muy bueno si junto con un enlace para el conjunto de datos / API, se añadieron características de los datos disponibles. Dicha información debe ser, y no se limita a:

el nombre de la red social;
¿qué tipo de información del usuario se proporciona (mensajes, perfil, red de amistad, ...);
si se permite para el rastreo de su contenido a través de una API (y la tasa de: 10 / min, 1k / mes, ...);
si simplemente proporciona una instantánea de todo el conjunto de datos.

Cualquier sugerencia y características adicionales que se añadirán son muy bienvenidos.

Solución

Un par de palabras acerca de las redes sociales API. Hace aproximadamente un año escribí una revisión de las API de redes sociales populares para los investigadores. Por desgracia, es en ruso. He aquí un resumen:

Twitter ( https://dev.twitter.com/docs/api/1.1 )

casi todos los datos sobre los tweets / textos y los usuarios está disponible;
falta de datos sociodemográficos;
gran streaming de API: útil para el procesamiento de texto en tiempo real;
una gran cantidad de envoltorios para la programación idiomas;
conseguir estructura de la red (conexiones) es posible, pero el tiempo-caro (1 solicitud cada 1 minuto).

Facebook ( https://developers.facebook.com/docs/reference/api / )

límites de la frecuencia: alrededor de 1 solicitud por segundo;
bien documentado, caja de arena presente;
FQL (tipo SQL) y la API de «regular de ocio» Gráfico;
datos amistad y características sociodemográficos presente;
una gran cantidad de datos está más allá de horizonte de sucesos : es más o menos completa, casi nada podían ser investigados sólo amigos y amigos de amigos de datos sobre el usuario al azar;
algunos errores API extrañas, y se parece a nadie se preocupa por ella (por ejemplo, algunas de las características disponibles a través de FQL, pero no a través de sinónimos Graph API).

Instagram ( http://instagram.com/developer/ )

límites de frecuencia: 5000 solicitudes por hora;
API en tiempo real (como secuencias de API para Twitter, pero con fotos) - conexión con él es un poco complicado: se utilizan devoluciones de llamada;
falta de datos sociodemográficos;
fotos, filtros de datos disponibles;
imperfecciones inesperados (por ejemplo, es posible recoger sólo 150 Comentarios Para publicar / foto).

Foursquare ( https://developer.foursquare.com/overview/ )

límites de frecuencia: 5000 solicitudes por hora;
reino de los datos Geosocial:)
bastante cerrada de las investigaciones debido a cuestiones de privacidad. Para recoger datos checkins una necesidad de construir analizador compuesta trabajar con 4sq, bit.ly, y APIs de Twitter a la vez;
de nuevo:. Falta de datos sociodemográficos

Google + ( https://developers.google.com/+/api/latest / )

sobre 5 solicitudes por segundo (prueba para verificar);
métodos principales: actividades y personas;
al igual que en Facebook, una gran cantidad de datos personales para los usuarios al azar se oculta;
La falta de conexiones de datos de usuario.

Y fuera de la competencia: He revisado las redes sociales para los lectores rusos, y # 1 de la red aquí es vk.com . Ha traducido a muchos idiomas, pero popular sólo en Rusia y otros países de la CEI. documentación de la API enlace: http://vk.com/dev/ . Y desde mi punto de vista, es la mejor opción para la investigación de medios de comunicación social homebrew. Al menos, en Rusia. Es por eso que:

límites de la frecuencia: 3 solicitudes por segundo;
texto públicos y medios de comunicación de datos disponibles;
datos sociodemográficos disponible: por nivel de disponibilidad del usuario al azar es de aproximadamente 60-70%;
conexiones entre los usuarios también están disponibles: casi todas las amistades de datos de usuario aleatorio está disponible;
algunos métodos especiales:. Por ejemplo, hay un método para obtener en línea / fuera de línea para el estado de usuario exacto en tiempo real, y se podría construir calendario para su público

Otros consejos

No es una red social en sí, sino Stackexchange publicar toda su base de datos de volcado de forma periódica:

Se puede extraer alguna información social mediante el análisis de lo que piden a los usuarios y la respuesta de la otra. Una cosa buena es que, dado que los mensajes etiquetados, puede analizar fácilmente sub-comunidades.

Una lista bien de dominio público de redes sociales conjuntos de datos se puede encontrar en la página web del Proyecto Análisis de Stanford red:

SNAP conjuntos de datos

El sitio contiene datos de internet red social (Facebook, Twitter, Google Plus), las redes de citas para revistas académicas, redes de co-compra de Amazon y varios otros tipos de redes. Se han dirigido, no dirigida, y grafos bipartitos y todos los conjuntos de datos son instantáneas que se pueden descargar de forma comprimida.

Un ejemplo de Alemania:. Xing un sitio similar a LinkedIn, pero limitado a los países de habla alemana

Enlace a ella de la Central de: https://dev.xing.com/overview

Da acceso a:. Los perfiles de usuario, las conversaciones entre los usuarios (limitada al usuario en sí), de empleo advertisings, contactos y contactos de contactos, noticias de la red y algunos API de geolocalización

Sí, tiene una API, pero no se encontró información sobre la velocidad. Sin embargo, me parece, que cierta información se limita al consentimiento del usuario.

Red repositorio ( http://networkrepository.com ) tiene toneladas de redes sociales, gráficos web, bio y redes cerebrales , etc. lo mejor de todo, también tienen herramientas analíticas visuales interactivas para comparar / explora las diferentes redes sociales.

Una pequeña colección de dichos enlaces se puede encontrar en aquí . Muchos de ellos son gráficos sociales.

tailandesa texto desde diferentes plataformas de medios sociales + etiquetas sentimiento (positivo, neutro, negativo) .

Licenciado bajo: CC-BY-SA con atribución

No afiliado a datascience.stackexchange