r 작업 작업 대기열 / 작업 부하 관리

Question

R. 에 대기열 /로드 밸런서 패키지를 찾는 Google에서 일을 소비 해 왔습니다.

내가 달성하려고하는 것 :

• 원격 전면 끝에있는 각각의 r 함수와 여러 독립적 인 여러 독립 실행
• 2 개의 듀얼 코어 서버를 r 백엔드 로 활용하십시오

  알면서 :

  • 각 기능은 일반적으로 10 ~ 30 초 내에 처리됩니다
  • 평균 5 분마다 (그러나 동시에) 실행될 8-15 개의 기능 세트가 백엔드로 전송됩니다 (처리를 위해 큐에 대기 됨 : 첫 번째 출력). 5 분은 평균이며, 여러 세트가 동시에 를 보낼 수 있습니다.
  • 2x2 R 인스턴스는 이미 실행 중이며 필요한 패키지가로드되므로 항상 동일하므로 항상 모든 시간을 다시로드 할 필요가 없습니다.
  • 전송되는 데이터의 입력 양은 매우 낮습니다 : 50k max

    여기에 코드 병렬화 피사체가 없습니다 (눈, 강설량 foreach, condor 및 기타 전통적인 클러스터 솔루션)

    r을 위해 설계된 좋은 패키지 / 도구를 알고 있습니까?

    감사합니다!

Answer 1

This sounds like a reasonable context for using RApache, which can instantiate several R instances and necessary packages.