Obtendo dados históricos do Twitter [fechado]

Question

Para um projeto de pesquisa que eu gostaria de obter o último 3 meses no valor de mensagens do Twitter. Técnico desafia lado, isso é possível? usando algum tipo de mecanismo de pesquisa lenta para manter o limitador de taxa na baía?

Os estados API do Twitter "Os clientes podem solicitar até 3.200 status através da página e contar parâmetros para cronograma API REST" São estes por hora? Por dia? ou ... nunca?

Todas as sugestões? Seria até ser teoricamente possível? Será que alguém fazer algo semelhante antes?

Obrigado! Marco

Answer 1

Twitter notoriamente não faz tweets "disponíveis" mais de três semanas. Em alguns casos, você só pode obter uma semana. Você é melhor fora de armazenar os tweets para os próximos três meses. Muitos justamente dúvida se eles estão ainda persistiu por Twitter.

Você está procurando apenas os tweets de? Se assim for, veja o método da API de streaming estado / amostra . A API de streaming usa soquetes HTTP persistentes que podem ser uma dor de programa, mas é muito graciosa quando você fazê-lo funcionar. Eu recomendo a criação de um pequeno script para despejar tweets de estado / amostra em um DB. Você deve ter uma tonelada de dados depois de apenas alguns dias.

Answer 2

Você pode usar a API de pesquisa, não dar-lhe uma busca, devolver o máximo de 100 por página, então se através de cada página duas vezes por minuto (120 vezes por hora - 30 vezes menos do que o limite de taxa). No entanto, se a minha matemática está correta, que poderia dar-lhe 720.000 tweets por hora ..... o problema é que o Twitter adicionou cerca de 1,75 bilhão de tweets nos últimos 3 meses. Então, se minha matemática está correta, você levaria 2361 dias, ou 6 anos para completar este.

Você poderia fazer esta pergunta sobre a conversa Twitter Desenvolvimento no Google Groups, ou contato Twitter para obter branco-listados para que você possa fazer até 20.000 pedidos por hora.

Pessoalmente, eu não acho que é possível.

Answer 3

DataSift alega ter um twitter api dados históricos em breve, você pode inscrição para ser notificado quando seu disponível aqui .

Answer 4

Isto não pode ter existido quando você perguntou pela primeira vez a questão, mas a API "PeopleBrowsr" é perfeito para isso e você pode voltar 1400 dias com uma única chamada API: https://developer.peoplebrowsr.com/pb

Espero que ajude!

Answer 5

Keyhole você pode obter os tweets históricos em xls ou apresentá-los em um painel visual. As amostras de visualização apenas alguns a maioria dos tweets recentes, no entanto, você pode solicitar dados históricos se você enviá-las.

Veja: http://keyhole.co/conversation_tracking

Answer 6

Você pode ler os dados históricos do twitter usando a ferramenta PowerTrack Histórico de Gnip. Ele lhe dará acesso a todos os dados do twitter desde primeiro tweet e bastante é muito simples uso de ferramentas t.

Answer 7

Você pode obter orçamentos grátis para o escopo de dados e custos usando um serviço construído pela minha empresa chamada Sifter . Se você decidir acesso compra para os dados que estarão disponíveis através da nossa plataforma de análise de texto DiscoverText , onde você pode procurar, filtro , de-duplicado, aglomerado, código humano, e máquina-classificar os dados.