La distribution des emplois de compression cpu lié à plusieurs ordinateurs?

Question

L'autre jour, je avais besoin d'archiver un grand nombre de données sur notre réseau et je suis frustré que je n'avais aucun moyen immédiat d'exploiter la puissance de plusieurs machines pour accélérer le processus.

Je comprends que la création d'un système de gestion de l'emploi distribué est un saut d'un outil d'archivage de ligne de commande.

Je me demande maintenant ce que la solution la plus simple à ce type de scénario de performance pourrait être distribué. Est-ce qu'un outil personnalisé toujours une exigence ou y at-il des façons d'utiliser les services standard et leur distribution en quelque sorte la charge de manière transparente à un niveau supérieur?

Merci pour toutes suggestions.

Answer 1

Une façon d'aborder ce pourrait être d'utiliser un système de make distribué pour exécuter des scripts sur du matériel en réseau. Ceci est (ou utilisé pour être) une caractéristique expérimentale (certaines implémentations) GNU Make. Solaris met en œuvre un utilitaire dmake dans le même but.

Une autre, plus lourd, approche pourrait consister à utiliser Condor pour distribuer vos travaux d'archivage. Mais je pense que vous ne seriez pas installer Condor seulement pour les courses d'archivage deux fois par an, il est plus d'un système de balayage régulièrement des cycles de rechange du matériel en réseau.

Les SCons système de construction, ce qui est vraiment un remplacement basé sur Python pour faire, pourrait probablement être amenés à travailler hors main à travers le réseau.

Là encore, vous pouvez utiliser des scripts pour ssh pour démarrer des travaux sur les PC en réseau.

Donc, il y a quelques façons dont vous pouvez aborder cela sans avoir à prendre la programmation parallèle avec tout le plaisir que cela comporte.