R Job TRABAJO QUEURABLE / Gestión de la carga de trabajo

Question

He estado gastando algún tiempo en Google que busca un paquete de cola / equilibrador de carga para R.

lo que estoy tratando de lograr:

• Ejecutando múltiples independientes de cada uno de las funciones R de los extremos frontales remotos
• aprovechando 2 servidores de doble núcleo como r backend

  SABER QUE:

  • Cada función se procesa generalmente en 10 a 30 segundos
  • Cada 5 min en promedio (pero puede al mismo tiempo), se está enviando un conjunto de 8-15 funciones a la ejecución al backend (en cola para su procesamiento: primero en el primero en salir). Los 5 min es un promedio, también se pueden enviar varios conjuntos al mismo tiempo
  • La instancia de 2x2 R ya estaría funcionando, con los paquetes requeridos cargados, siempre son iguales, por lo que no es necesario volver a cargarlos todo el tiempo
  • La cantidad de datos que se transfiere es muy baja: 50k max

    No hay un tema de paralelización de código aquí (nieve, nevadas de nevadas, condado y otras soluciones de clúster tradicional)

    ¿Sabe que un buen paquete / herramienta diseñada para R que podría ayudar?

    ¡Gracias mucho!

Answer 1

This sounds like a reasonable context for using RApache, which can instantiate several R instances and necessary packages.