R Job Job Warteschlange / Workload-Management
-
15-11-2019 - |
Frage
Ich verbringe einige Zeit auf Google, auf der Suche nach einem Warteschlangen- / Lastausgleichspaket für R.
was ich zu erreichen versuche:
- .
- mehrere Unabhängige voneinander ausführen R Funktionen von Remote-Frontenden
- Nutzen Sie 2 Dual-Core-Server als R-Backend
zu wissen, dass:
- .
- Jede Funktionen wird in der Regel in 10 bis 30 Sekunden verarbeitet
- alle 5 min im Durchschnitt (aber es kann gleichzeitig) einen Satz von 8-15-Funktionen, die ausgeführt werden sollen, an das Backend gesendet (Warteschlange zur Bearbeitung: zuerst in Erste). Die 5 min ist ein Durchschnitt, mehrere Sätze können gleichzeitig mit gesendet werden
- Die 2x2 R-Instanz würde bereits ausgeführt, wobei die erforderlichen Pakete geladen werden, sie sind immer gleich, so dass Sie nicht die ganze Zeit erneut geladen werden müssen
- Eingabebetrag der übertragenen Daten ist sehr niedrig: 50k max
Es gibt keine Code-Parallelisierung hier (Schnee, Schneefrequenz, Condor und andere traditionelle Clusterlösungen)
Sie würden ein gutes Paket / Werkzeug kennen, das für r ausgelegt ist, der helfen könnte?
vielen dank!
Lösung
This sounds like a reasonable context for using RApache
, which can instantiate several R instances and necessary packages.
Lizenziert unter: CC-BY-SA mit Zuschreibung
Nicht verbunden mit StackOverflow