R Job Job Warteschlange / Workload-Management

Question

Ich verbringe einige Zeit auf Google, auf der Suche nach einem Warteschlangen- / Lastausgleichspaket für R.

was ich zu erreichen versuche:

.
• mehrere Unabhängige voneinander ausführen R Funktionen von Remote-Frontenden
• Nutzen Sie 2 Dual-Core-Server als R-Backend

  zu wissen, dass:

  .
  • Jede Funktionen wird in der Regel in 10 bis 30 Sekunden verarbeitet
  • alle 5 min im Durchschnitt (aber es kann gleichzeitig) einen Satz von 8-15-Funktionen, die ausgeführt werden sollen, an das Backend gesendet (Warteschlange zur Bearbeitung: zuerst in Erste). Die 5 min ist ein Durchschnitt, mehrere Sätze können gleichzeitig mit gesendet werden
  • Die 2x2 R-Instanz würde bereits ausgeführt, wobei die erforderlichen Pakete geladen werden, sie sind immer gleich, so dass Sie nicht die ganze Zeit erneut geladen werden müssen
  • Eingabebetrag der übertragenen Daten ist sehr niedrig: 50k max

    Es gibt keine Code-Parallelisierung hier (Schnee, Schneefrequenz, Condor und andere traditionelle Clusterlösungen)

    Sie würden ein gutes Paket / Werkzeug kennen, das für r ausgelegt ist, der helfen könnte?

    vielen dank!

Answer 1

This sounds like a reasonable context for using RApache, which can instantiate several R instances and necessary packages.