Quelle pile la technologie Big Data est le plus approprié pour le traitement de tweets, l'extraction / l'expansion des URL et en poussant (seulement) de nouveaux liens dans le système 3ème partie?

Question

(Note: Tirée cette question dans la liste des questions Area51 , mais pense que la question est explicite. cela dit, crois que j'ai l'intention générale de la question, et par conséquent probablement en mesure de champ des questions sur la question qui pourrait pop-up.)

Quelle grosse pile de technologie de données pour le traitement de tweets est le plus approprié, l'extraction / l'expansion des URL et en poussant de nouveaux liens (uniquement) dans le système 3ème partie?

Answer 1

Je vous suggère Apache Kafka comme banque de messages et une solution de traitement de flux de votre choix comme Apache Camel ou Twitter tempête