Procesamiento por lotes distribuido con Spring Batch y AMQP

Question

Quiero distribuir el procesamiento de grandes lotes.La idea es utilizar Spring Batch para activar un grupo de consumidores AMQP en una nube y luego cargar tareas económicas (como ID de artículos) y enviarlas a un intercambio AMQP.La redacción de los resultados la realizarán los propios consumidores.

¿Existe una biblioteca preparada para lograr esto?

Algunas reflexiones:

• El lote de primavera es totalmente negociable.
• El tamaño del lote es de varios millones.No quiero matar a mi intermediario de mensajes enviando por fuerza bruta todos estos ID a la vez, sino utilizar algún tipo de limitación.
• Quiero saber qué elementos se han procesado para poder monitorear el proceso.Por tanto, el proceso de control de lotes deberá recibir respuestas de los consumidores.

Answer 1

Sí, mira el integración de lotes de primavera proyecto.Combina Spring Batch y Spring Integration para realizar lo que desea.

Para el lote 2.2.x, es parte del spring-batch-admin distribución;en la próxima versión del lote 3.0.0 se ha movido al lote propiamente dicho.

La partición remota simplemente envía metadatos sobre las particiones y los trabajadores realmente recuperan los datos.

Viene con un Ejemplo de JMS pero no sería difícil cambiar las puertas de enlace JMS de integración de Spring por puertas de enlace amqp de integración de Spring.

También hay una versión de fragmentación remota en la que los datos se envían a través del transporte en lugar de los metadatos de la partición.