Come impostare un cloud di elaborazione e come funziona?

Question

È possibile avere tutta la capacità di calcolo di tutti i nodi hardware allocati a un'istanza (per es. un'installazione linux di base)?

Come gestire il cloud?

Answer 1

Penso che tu stia confondendo il cloud computing e il grid computing qui. Sebbene abbiano somiglianze.

Il cloud computing viene generalmente utilizzato per fare riferimento a soluzioni in cui i dati vengono archiviati da qualche parte su Internet e resi disponibili su qualsiasi workstation online.

Il grid computing viene utilizzato per fare riferimento ad applicazioni in cui molti agenti diversi risolvono in parallelo parti dello stesso problema di elaborazione. (pensa a Seti-at-home o pieghevole-at-home)

Ma non è possibile utilizzare il cloud o il grid computing per eseguire senza problemi piattaforme esistenti. Entrambi si riferiscono alle architetture. Esistono un paio di piattaforme che sono implementazioni generali di queste architetture, ma sono così diverse che non è possibile eseguire facilmente software su di esse non progettato per essere distribuito.

Answer 2

Se si tratta di un cluster (o di una griglia) che si desidera configurare, si consiglia vivamente di Rocks . Lo installi su un computer che usi come master. Tutti gli altri nodi vengono avviati ma non è necessario saperlo poiché Rocks lo configura per te.

Rocks viene fornito con tutte le librerie e le applicazioni amministrative necessarie per eseguire un cluster completo o una griglia e viene utilizzato ad esempio Fermilab . L'ho usato di recente per installare un cluster con oltre 1200 nodi (10.000 core!)! E lo userei ancora su un cluster a 4 nodi poiché non è necessario un carico di lavoro aggiuntivo per installare il master e ottieni l'installazione su tutte le altre macchine gratuitamente!

Answer 3

Per una definizione del cloud computing, mi piace la risposta di blowdart qui , è fondamentalmente utilizzando risorse online, quindi non stai allocando le risorse tu stesso su una LAN, ma usando servizi di terze parti (come amazon / google e forse microsoft presto?) per avere accesso all'elaborazione e all'archiviazione che puoi ridimensionare se e quando devi . Lo sviluppo per il cloud è completamente diverso dal normale sviluppo.

In pratica potresti iniziare con un nodo (come un'istanza di Amazon EC2 e un account S3), e nel caso in cui tu abbia bisogno di più potenza di elaborazione, potresti impostare un processo per accendere più istanze, ma sarebbero comunque differenti server virtuali che eseguono la stessa o molte immagini diverse. Non è possibile trattare il cloud (o la griglia) come un'unica installazione di Linux.

Answer 4

Risposte interessanti. Sto eseguendo quella che definirei una configurazione cloud. Fondamentalmente, ho un server master da 15 GB RAM e 1 TB HDD, poiché la versione della comunità di MYSQl non è in grado di utilizzare i file remoti per la sua archiviazione, il mio server mysql viene eseguito su questo server. In termini di server Web ed elaborazione, ci sono altri 5 server in esecuzione con specifiche uguali il cui unico scopo è quello di servire pagine Web per un singolo dominio. Il software su di esso utilizza un server Apache, non sono sicuro di come sia stato chiamato il gestore del software, tornerò su quello ... ma ogni server elabora la stessa pagina, è praticamente come l'elaborazione parallela, recupera la decodifica ed esegui . Tranne che ci sono più server che fanno la stessa cosa. Come accennato in precedenza, il grid e il cloud computing sono entrambi concetti di architettura. Il concetto è ciò che consente ad aziende come microsoft, google e yahoo, nonché facebook, weem.me e molto altro, di gestire siti Web così velocemente. Un esempio perfetto è Google, possono server pagine così velocemente ma hanno un volume di traffico così elevato. La base di ciò è che diversi server lavorano in parallelo per raggiungere lo stesso obiettivo e, in tal modo, consentono la scalabilità e la potenza di calcolo.