Spostando il codice Python parallelo nel cloud

Question

Dopo aver sentito che il progetto di calcolo scientifico (sembra essere il metodo di trattografia stocastica descritto qui) Attualmente sto in esecuzione per un investigatore impiegherebbe 4 mesi sul nostro cluster da 50 nodi, l'investigatore mi ha chiesto di esaminare altre opzioni. Il progetto sta attualmente utilizzando Python parallelo per coltivare pezzi di un array 4D a diversi nodi di cluster e rimettere insieme i pezzi elaborati.

I lavori con cui sto attualmente lavorando sono probabilmente troppo grossolani, (da 5 secondi a 10 minuti, ho dovuto aumentare il timeout predefinito in Python parallelo) e stimano che potrei accelerare il processo di 2-4 volte riscristi. Per fare un uso migliore delle risorse (dividere e rimettere insieme i dati sta impiegando troppo tempo, anche questo dovrebbe essere parallelizzato). La maggior parte del lavoro svolto da Array Numpy.

Supponiamo che 2-4 volte non siano sufficienti e decido di togliere il codice dal nostro hardware locale. Per il calcolo ad alto rendimento in questo modo, quali sono le mie opzioni commerciali e come dovrò modificare il codice?