Processamento de lote distribuído com lotes de primavera e amqp

Question

Eu quero distribuir o processamento de grandes lotes.A ideia é usar o lote de primavera de um monte de consumidores AMQP em uma nuvem e, em seguida, para carregar tarefas baratas (como IDs de itens) e enviá-los a uma troca AMQP.A escrita dos resultados será feita pelos próprios consumidores.

Existe uma biblioteca pronta para conseguir isso?

Alguns pensamentos:

• lotes de primavera é totalmente negociável.
• o tamanho do lote é vários milhões.Eu não quero matar meu corretor de mensagens por força bruta submetendo a todos esses IDs de uma só vez, mas use algum tipo de estrangulamento.
• Eu quero saber sobre quais itens foram processados para que eu possa monitorar o processo.Então o processo de controle de lote terá que receber respostas dos consumidores.

Answer 1

Sim, consulte o Integração de lotes de primavera Projeto.Ele combina a integração de lote de mola e a primavera para executar o que você quer.

para lote 2.2.x, faz parte da distribuição de geracodiceetagcode;No lançamento do próximo lote 3.0.0, ele foi movido para lote adequado.

Particionamento remoto apenas envia metadados sobre as partições e os trabalhadores realmente buscam os dados.

vem com um exemplo jms Mas não seria difícil trocar o Spring-Integration JMS Gateways para o Spring Integration AMQP Gateways.

Há também uma versão remota de chunking onde os dados são enviados sobre o transporte em vez de metadados de partição.