스프링 배치 및 AMQP가있는 분산 배치 처리

Question

나는 큰 배치의 처리를 분산시키고 싶다.아이디어는 Spring Batch를 클라우드에서 AmqP 소비자의 무리를 발사 한 다음 값싼 작업 (예 : 항목 ID)을로드하고 AMQP 교환에 제출하는 것입니다.결과를 쓰는 것은 소비자 자체가 수행 할 것입니다.

이 작업을 수행 할 수있는 기성 도서관이 있습니까?

몇 가지 생각 :

• 스프링 배치는 완전히 협상 가능합니다.
• 배치 크기는 수백만입니다.나는이 모든 ID를 한 번에 제출하지만 대신에 어떤 종류의 조절을 사용하는 것에 대해 무차별 힘으로 내 메시지 브로커를 죽이고 싶지 않습니다.
• 나는 어떤 항목이 처리되었는지에 대해 알고 싶어하여 공정을 모니터링 할 수 있습니다.따라서 배치 제어 프로세스는 소비자로부터 응답을 받아야합니다.

Answer 1

예, 스프링 배치 통합 프로젝트.Spring Batch와 Spring 통합을 결합하여 원하는 것을 수행합니다.

배치 2.2.x의 경우, spring-batch-admin 분포의 일부입니다.다가오는 배치 3.0.0 릴리스에서는 일괄 적절한 것으로 이동되었습니다.

원격 파티셔닝은 파티션에 대한 메타 데이터를 보내고 노동자는 실제로 데이터를 가져옵니다.

JMS 예제 그러나 Spring Integration AMQP 게이트웨이를위한 스프링 통합 JMS 게이트웨이를 스왑하는 것은 어렵지 않습니다.

데이터가 파티션 메타 데이터 대신 전송을 통해 전송 된 원격 chunking 버전이 있습니다.