Kafka Consumer en R

Question

Je cherche à pirater ensemble un consommateur Kafka à Python ou R (de préférence R). En utilisant le consommateur de console Kafka, je peux grep pour une chaîne et récupérer les données pertinentes, mais je suis perdu quand il s'agit de l'analyser convenablement dans R.

Il existe des clients Kafka disponibles dans d'autres langues (par exemple: PHP, CPP), mais un en R serait utile d'un point de vue d'analyse de données.

Ce serait formidable si les développeurs experts de ce forum pouvaient faire allusion / suggérer des ressources qui me permettraient de faire des progrès dans cette direction.

Apache Kafka: incubator.apache.org/kafka/

Client des consommateurs de Kafka: https://github.com/kafka-dev/kafka/tree/master/clients

Answer 1

Comme il y a un API C ++ pour Kafka, tu pourrais utiliser RCPP Pour l'apporter à R.

Éditer En réponse à des commentaires sur la solution R uniquement: je ne connais pas assez bien Kafka pour répondre, mais de manière générale, le middleware s'exécute rapidement, connectant plusieurs clients, flux, etc. tel qu'il est) pour jouer avec.

Answer 2

Mise à jour 2015] Il y a une bibliothèque qui vous permet de vous connecter à Kafka - rkafka

http://cran.r-project.org/web/packages/rkafka/rkafka.pdf