¿Qué conjunto de tecnología Big Data es el más adecuado para el procesamiento de los tweets, extracción / expansión de las direcciones URL y empujando (sólo) nuevos enlaces en el sistema de tercera parte?

Question

(Nota: esta pregunta tirado de la lista de preguntas en Area51 , pero creo que la pregunta es auto explicativo. dicho esto, creen que tengo la intención general de la cuestión, y como resultado probable capaz de desplegar alguna pregunta sobre la cuestión que podría pop-up.)

¿Qué conjunto de tecnología Big Data es el más adecuado para el procesamiento de los tweets, extracción / expansión de las direcciones URL y empujando (sólo) nuevos enlaces en el sistema de tercera parte?

Answer 1

Me gustaría sugerir Apache Kafka como almacén de mensajes y cualquier solución de procesamiento de corriente de su elección como Apache Camel o Twitter tormenta