트위터에서 역사적 데이터 얻기 [폐쇄
https://stackoverflow.com/questions/1662151
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russian문제
연구 프로젝트의 경우 지난 3 개월 분량의 트위터 메시지를 받고 싶습니다. 기술적 인 도전을 제외하고는 이것이 가능합니까? 속도 리미터를 막기 위해 일종의 느린 폴링 메커니즘을 사용하여?
Twitter API는 "클라이언트는 페이지를 통해 최대 3,200 개의 상태를 요청할 수 있고 타임 라인 REST API에 대한 매개 변수를 계산할 수 있습니다"라고 말합니다. 하루에? 아니면 ...
제안이 있습니까? 이론적으로 가능할까요? 한 사람이 전에 비슷한 일을 했습니까?
감사! 마르코
해결책
트위터는 악명 높게 3 주 이상 "이용 가능한"트윗을 만들지 않습니다. 경우에 따라 일주일 만 얻을 수 있습니다. 앞으로 3 개월 동안 트윗을 저장하는 것이 좋습니다. 많은 사람들이 트위터에 의해 지속되는지 의심합니다.
트윗 만 찾고 계십니까? 그렇다면 스트리밍 API를 확인하십시오 상태/샘플 방법. 스트리밍 API는 프로그램에 고통을 줄 수있는 지속적인 HTTP 소켓을 사용하지만 작동 할 때는 매우 우아합니다. 상태/샘플에서 DB로 트윗을 덤프하기 위해 작은 스크립트를 설정하는 것이 좋습니다. 며칠 만에 많은 데이터가 있어야합니다.
다른 팁
검색 API를 사용하고 검색을하지 말고 페이지 당 최대 100을 반환 한 다음 각 페이지를 1 분에 두 번 통과했습니다 (시간당 120 회 -30 배의 속도 제한보다 30 배 적음). 그러나 내 수학이 정확하다면, 그것은 시간당 720,000 개의 트윗을 줄 수 있습니다 ..... 문제는 지난 3 개월 동안 트위터가 약 175 억 트윗을 추가했다는 것입니다. 따라서 내 수학이 정확하다면이 작업을 완료하는 데 2361 일 또는 6 년이 걸립니다.
Google Groups의 Twitter Development Talk 에서이 질문을하거나 트위터에 연락하여 흰색 상장을 받으려면 1 시간에 최대 20,000 개의 요청을 할 수 있습니다.
개인적으로, 나는 그것이 가능하다고 생각하지 않습니다.
DataSift는 Twitter Historical Data API가 곧 출시 될 것이라고 주장합니다. 여기.
이것은 처음 질문을했을 때 존재하지 않았을 수도 있지만 "PeopleBrowsr"API는 이것에 완벽하며 단일 API 호출로 1400 일을 거슬러 올라갈 수 있습니다. https://developer.peoplebrowsr.com/pb
도움이되기를 바랍니다!
KeyHole은 XLS에서 역사적 트윗을 제공하거나 시각적 대시 보드에 표시 할 수 있습니다. 미리보기 샘플은 가장 최근의 트윗 만 있지만 이메일을 보내면 과거 데이터를 요청할 수 있습니다.
GNIP의 Historic PowerTrack 도구를 사용하여 Twitter Historic 데이터를 읽을 수 있습니다. 첫 트윗 이후 모든 트위터 데이터에 액세스 할 수 있으며 매우 간단한 도구 사용입니다.
내 회사가 구축 한 서비스를 사용하여 데이터 범위와 비용에 대한 무료 견적을받을 수 있습니다. 시프터. 데이터에 대한 액세스를 구매하기로 결정한 경우 텍스트 분석 플랫폼을 통해 사용할 수 있습니다. DiscoverText, 데이터를 검색, 필터, 복제, 클러스터, 인간 코드를 검색하고 데이터를 기기 분류 할 수 있습니다.
