Déplacer le code python parallèle vers le cloud

Question

En apprenant que le projet informatique scientifique (se trouve être la méthode de tractographie stochastique décrit ici) Je me présente actuellement pour un enquêteur prendrait 4 mois sur notre cluster de 50 nœuds, l'enquêteur m'a demandé d'examiner d'autres options. Le projet utilise actuellement le Python parallèle pour cultiver des morceaux d'un tableau 4D à différents nœuds de cluster, et remettre les morceaux transformés ensemble.

Les emplois avec lesquels je travaille actuellement sont probablement beaucoup trop grossièrement grainés (5 secondes à 10 minutes, j'ai dû augmenter le délai d'expiration par défaut en parallèle Python) et j'estime que je pourrais accélérer le processus de 2 à 4 fois en le réécrivant Pour mieux utiliser les ressources (se séparer et remettre en place les données prennent trop de temps, ce qui devrait également être parallélisé). La plupart du travail fait par des tableaux Numpy.

Supposons que 2-4 fois ne suffit pas, et je décide de retirer le code de notre matériel local. Pour un calcul à haut débit comme celui-ci, quelles sont mes options commerciales et comment devrai-je modifier le code?