consumatore kafka in r

Question

Sto cercando di hackerare un consumatore Kafka in Python o R (preferibilmente R). Usando il consumatore della console Kafka posso grep per una stringa e recuperare i dati pertinenti, ma sono in perdita quando si tratta di analizzarlo opportunamente in R.

Ci sono clienti Kafka disponibili in altre lingue (ad esempio: PHP, CPP) ma uno in R sarebbe utile dal punto di vista dell'analisi dei dati.

Sarebbe bello se gli sviluppatori esperti su questo forum potessero suggerire/suggerire risorse che mi permetterebbero di fare progressi in questa direzione.

Apache Kafka: Incubator.apache.org/kafka/

Clienti consumatori Kafka: https://github.com/kafka-dev/kafka/tree/master/client

Answer 1

Come c'è un API C ++ per kafka, potresti usare RCPP per portarlo a R.

Modificare In risposta al commento sulla soluzione solo R: non conosco Kafka abbastanza bene da rispondere, ma in generale, il middleware funziona velocemente, collegando più client, flussi ecc. In modo da semplificare qualcosa per ottenere R (singolo thread così com'è) giocarci.

Answer 2

Aggiornamento 2015] Esiste una libreria che ti consente di connetterti a Kafka - rkafka

http://cran.r-project.org/web/packages/rkafka/rkafka.pdf