R Job Job Accodamento / Gestione del carico di lavoro

Question

Ho trascorso un po 'di tempo su Google alla ricerca di un pacchetto Balancer di accodamento / carico per R.

Cosa sto cercando di ottenere:

.
• Esecuzione di più indipendenti da un'altra altre funzioni r dalle estremità anteriori remote
• Approfittando di 2 server dual-core come backend

  Sapendo che:

  .
  • Ogni funzione viene solitamente elaborata in 10-30 secondi
  • Ogni 5 minuti in media (ma può allo stesso tempo) un insieme di 8-15 funzioni da eseguire viene inviato al back-end (in coda per l'elaborazione: prima in primo piano). Il 5 min è una media, diversi set possono essere inviati contemporaneamente anche allo stesso tempo
  • L'istanza 2x2 r sarebbe in esecuzione, con i pacchetti richiesti caricati, sono sempre gli stessi, quindi non è necessario ricompensarli continuamente
  • La quantità di input di dati trasferita è molto bassa: 50K MAX

    Non c'è nessun soggetto di parallelizzazione del codice qui (neve, nevicata foreach, condor e altre soluzioni tradizionali di cluster)

    Conoscesti un buon pacchetto / strumento progettato per R che potrebbe aiutare?

    Grazie mille!

Answer 1

This sounds like a reasonable context for using RApache, which can instantiate several R instances and necessary packages.