R Mise en file d'attente / Gestion de la charge de travail

Question

J'ai passé du temps sur Google à la recherche d'un package d'équilibreur de file d'attente / chargée pour R.

Qu'est-ce que j'essaie d'atteindre:

• Exécution de plusieurs personnes indépendantes de l'autre côté des fonctions des extrémités avant distantes
• Profitant de 2 serveurs à double noyau que r Backend

  Sachant que:

  • Chaque fonction est généralement traitée en 10 à 30 secondes
  • Tous les 5 min en moyenne (mais il peut en même temps) un ensemble de 8-15 fonctions à exécuter est en train d'être envoyé au backend (mise en file d'attente pour le traitement: premier en premier out). La 5 min est une moyenne, plusieurs ensembles peuvent être envoyés en même temps que
  • L'instance 2x2 R serait déjà en cours d'exécution, avec les packages requis chargés, ils sont toujours identiques, donc pas besoin de les réharmoniser tout le temps
  • La quantité d'entrée de données transférée est très faible: 50k max

    Il n'y a pas de sujet de parallélisation de code ici (neige, chute de neige foreach, condor et autres solutions de grappes traditionnelles)

    Sachez-vous un bon paquet / outil conçu pour R qui pourrait aider?

    Merci beaucoup!

Answer 1

This sounds like a reasonable context for using RApache, which can instantiate several R instances and necessary packages.