R Gerenciamento de Trabalho de Trabalho / Gerenciamento de Carga de Trabalho

Question

Eu tenho gastando algum tempo no Google procurando um pacote de balanceador de fila / carga para R.

O que estou tentando alcançar:

• Executando múltiplos independentes a partir de suas funções R a partir de extremidades frontais remotas
• Aproxime-se de 2 servidores de dual-core como ROOGIN

  Sabendo que:

  • Cada funções é geralmente processada em 10 a 30 segundos
  • a cada 5 min em média (mas pode, ao mesmo tempo), um conjunto de 8-15 funções a serem executados está sendo enviado ao back-end (enfileirado para processamento: primeiro no primeiro out). O 5 min é uma média, vários conjuntos podem ser enviados ao mesmo tempo também
  • a instância de 2x2 R já estaria em execução, com os pacotes necessários carregados, eles são sempre os mesmos, então não há necessidade de carregá-los o tempo todo
  • quantidade de entrada de dados sendo transferidos é muito baixo: 50k max

    Não há nenhum assunto de paralelização aqui (neve, queda de neve foreach, Condor e outras soluções de cluster tradicional)

    Você conhece um bom pacote / ferramenta projetado para r que poderia ajudar?

    Muito obrigado!

Answer 1

This sounds like a reasonable context for using RApache, which can instantiate several R instances and necessary packages.