Получение исторических данных из Twitter [закрыто]

Question

Для исследовательского проекта я хотел бы получить сообщения Твиттера за последние 3 месяца.Если оставить в стороне технические проблемы, возможно ли это?используя какой-то медленный механизм опроса, чтобы держать ограничитель скорости под контролем?

В API Twitter указано: «Клиенты могут запрашивать до 3200 статусов через страницу и подсчитывать параметры для REST API временной шкалы». Это в час?В день?или... когда-нибудь?

Какие-либо предложения?Возможно ли это вообще теоретически?Кто-нибудь делал что-то подобное раньше?

Спасибо!Марко

Answer 1

Twitter, как известно, не делает «доступными» твиты старше трех недель.В некоторых случаях вы можете получить только одну неделю.Вам лучше хранить твиты в течение следующих трех месяцев.Многие справедливо сомневаются, что Твиттер их вообще поддерживает.

Вы ищете какие-нибудь твиты?Если да, ознакомьтесь с API потоковой передачи. статус/образец метод.API потоковой передачи использует постоянные HTTP-сокеты, программирование которых может быть затруднительным, но это довольно изящно, когда вы заставляете его работать.Я бы порекомендовал настроить небольшой скрипт для выгрузки твитов из статуса/выборки в БД.Уже через несколько дней у вас должна быть ТОННА данных.

Answer 2

Вы можете использовать API поиска, не выполнять поиск, возвращать максимум 100 на страницу, а затем просматривать каждую страницу дважды в минуту (120 раз в час — в 30 раз меньше ограничения скорости).Однако, если мои расчеты верны, это может дать вам 720 000 твитов в час…Проблема в том, что за последние 3 месяца Twitter добавил примерно 1,75 миллиарда твитов.Итак, если мои расчеты верны, вам понадобится 2361 день или 6 лет, чтобы завершить это.

Вы можете задать этот вопрос в беседе о разработке Twitter в группах Google или связаться с Twitter, чтобы внести его в белый список, чтобы вы могли делать до 20 000 запросов в час.

Лично я не думаю, что это возможно.

Answer 3

DataSift утверждает, что скоро у нас появится API исторических данных Твиттера. Вы можете подписаться на получение уведомления, когда он станет доступен. здесь.

Answer 4

Возможно, этого не существовало, когда вы впервые задали вопрос, но API «PeopleBrowsr» идеально подходит для этого, и вы можете вернуться на 1400 дней назад с помощью одного вызова API: https://developer.peoplebrowsr.com/pb

Надеюсь, это поможет!

Answer 5

Keyhole может предоставить вам исторические твиты в формате xls или представить их на визуальной панели.В предварительном просмотре представлены только несколько последних твитов, однако вы можете запросить исторические данные, отправив их по электронной почте.

Видеть: http://keyhole.co/conversation_tracking

Answer 6

Вы можете прочитать исторические данные Твиттера с помощью инструмента Historic PowerTrack от Gnip.Он предоставит вам доступ ко всем данным Твиттера с момента первого твита, и, честно говоря, это очень простой инструмент для использования.

Answer 7

Вы можете получить бесплатные оценки объема данных и стоимости, используя сервис, созданный моей компанией, под названием сито.Если вы решите приобрести доступ к данным, они будут доступны через нашу платформу текстового анализа. Откройте для себя текст, где вы можете выполнять поиск, фильтрацию, дедупликацию, кластеризацию, человеческий код и машинную классификацию данных.