Kann Hadoop eingeschränkt werden CPU-Zyklen zu ersparen?

Question

Ist es möglich, Hadoop zu laufen, so dass es nur freie CPU-Zyklen verwendet? D. h wäre es möglich, Hadoop zu installieren, auf Völker Maschinen arbeiten, so dass Zahlknirschens getan werden, wenn sie ihre PCs nicht verwenden, und sie würden eine offensichtliche Leistung Abfluss nicht erleben (whurring Fans beiseite!).

Vielleicht ist es nur ein Fall sein, die JVM der Einstellung bei einer niedrigen Priorität zu laufen und nicht ‚zu viel‘ Netzwerk verwenden (so etwas unter der Annahme möglich ist, auf einem Windows-Rechner)?

Wenn nicht, weiß jemand von Java-Äquivalente um Dinge wie BOINC ?

Edit: eine Liste der Zyklus Scavenging Infrastruktur gefunden hier . Obwohl meine Frage nach Hadoop steht still.

Answer 1

Das ist sehr viel außerhalb der beabsichtigten Verwendung für Hadoop. Hadoop erwartet von allen Knoten vollständig verfügbar und für einen optimalen Durchsatz vernetzt zu sein - nicht etwas, das man mit Arbeitsplätzen erhalten. Darüber hinaus ist es gar nicht wirklich in Windows ausgeführt werden (Sie können es mit Cygwin verwenden können, aber ich kenne niemanden, dass für „Produktion“ mit - außer als Client-Maschinen Jobs Ausgabe).

Hadoop tut Dinge wie Speicher Datenblöcke auf einigen der Knoten, und versuchen, auf diese Daten auf diesen Knoten alle Berechnung einzuplanen; in einer arbeitsteiligen Umgebung, das heißt, eine Aufgabe, die diese Daten benötigt wird auf diesen drei Workstations ausgeführt werden soll - unabhängig davon, was ihre Nutzer im Moment tun. Im Gegensatz dazu halten „-Zyklus Scavenging“ Projekte all anderswo Daten, und es eine Aufgabe, zu jedem Knoten gesendet, die zu einem bestimmten Zeitpunkt verfügbar sind; Dies ermöglicht es ihnen, zu den Maschinen schöner zu sein, aber es entsteht offensichtlich Datenübertragungskosten.

Answer 2

Vielleicht ist Terracotta etwas mehr Ihre Gasse?

Terracotta Product Link