Shared-Memory-vs verteiltem Speicher und Multi-Thread-vs Multi-Prozess

Question

Ich lerne die parallele Programmierung von mir. Ich frage mich, ob verteiltem Speicher immer Multi-Prozess-und Multi-Thread wird immer Speicher geteilt? wenn Multi-Prozess kann für verteilte Speicher sowohl für und gemeinsam genutzten Speicher? Danke und Grüße!

Answer 1

Ja, ja, und "Ja, in einem gewissen Sinne"

In einem verteilten Speichersystem, verschiedene CPU-Einheiten haben ihre eigenen Speichersysteme. Der Zugang von einer anderen CPU werden die meisten wahrscheinlich langsamer oder mit einem begrenzteren Kohärenz-Modell, wenn in der Tat ist es überhaupt möglich ist. Dies wird mehr typisch für einen Message-Passing-Multi-Prozessor.

mehrere Threads für parallele Programmierung verwenden ist eher ein Software-Paradigma als ein Hardware-Problem, aber Sie sind richtig, die Verwendung des Begriffs Thread gibt im Wesentlichen, dass ein einzelnes Shared Memory verwendet wird, und es kann oder kann nicht tatsächlich mehrere Prozessoren umfassen. Es kann nicht sogar mehrere Kernel-Threads umfasst, wobei in diesem Fall die Fäden nicht parallel ausgeführt werden.

Ich bin mir nicht ganz klar über die Bedeutung der letzten Frage. Sicherlich von „distributed memory“ sagen oder „Shared Memory“ Es bedeutet „verteilt über Prozessoren“ und „geteilt durch Prozessoren“, so nehme ich an die Begriffe werden nur dann sinnvoll angewendet auf Multi oder potentiell Multi-Prozessor-Systemen. Wenn wir über mehrere Prozesse in der Software Sinn sprechen, ich denke, es ist so ziemlich eine Anforderung für verteilte Speichersysteme und im Wesentlichen eine Anforderung (sie auch sein mögen genannt Threads) für einen Shared-Memory-System.

Ich sollte diese mit verteiltem Speicher-but-Cache-kohärente hinzufügen Systeme existieren und sind eine Art von Shared-Memory-Multi-Prozessor-Design namens NUMA. Nur ein paar Jahren waren diese Maschinen die lunatic fringe paralleler Computing, aber jetzt sind die Intel Core i7 Prozessoren NUMA in den Mainstream gebracht.