Elaborazione batch distribuita con batch a molla e amqp

Question

Voglio distribuire la lavorazione di grandi lotti.L'idea è quella di utilizzare il batch di primavera fuoco su un gruppo di consumatori di amqp in un cloud e quindi caricare attività economiche (come gli ID articoli) e inviarli a uno scambio AMQP.La scrittura dei risultati sarà fatta dai consumatori stessi.

C'è una biblioteca già pronta per realizzare questo?

Alcuni pensieri:

.
• lotto di primavera è totalmente negoziabile.
• Le dimensioni del lotto sono diversi milioni.Non voglio uccidere il mio broker dei messaggi di Brute-Force inviare tutti questi ID contemporaneamente, ma usa invece un po 'di strozzatura.
• voglio sapere quali sono stati elaborati gli elementi in modo da poter monitorare il processo.Quindi il processo di controllo batch dovrà ricevere risposte dai consumatori.

Answer 1

Sì, consultare Spring-batch-Integration progetto.Combina il batch di primavera e l'integrazione della molla per eseguire ciò che desideri.

per Batch 2.2.x, fa parte della distribuzione spring-batch-admin;Nella prossima versione BATCH 3.0.0 è stata spostata a Batch corretti.

Partitioning remoto invia semplicemente metadati sulle partizioni e i lavoratori recuperano effettivamente i dati.

viene fornito con un Esempio JMS Ma non sarebbe difficile scambiare i gateway JMS di integrazione a molla per i gateway AMQP di integrazione primaverile.

C'è anche una versione a remota Chunking in cui i dati vengono inviati oltre il trasporto invece dei metadati di partizione.