Welche Datenbank für einen Web-Crawler, und wie verwende ich MySQL in einer verteilten Umgebung?

Question

Welche Datenbank-Engine sollte ich für einen Web-Crawler verwenden, InnoDB oder MyISAM? Ich habe zwei PCs mit je 1 TB-Festplatten. Wenn man füllt, würde Ich mag es automatisch auf den anderen PC zu speichern, liest aber auf den richtigen PC gehen sollte; wie kann ich das tun?

Answer 1

Was den ersten Teil Ihrer Frage, es hängt vielmehr von Ihnen präzise Umsetzung. Wenn Sie einen einzelnen Crawler von Netzwerk-Bandbreite begrenzt haben werden, dann können MyISAM schneller. Wenn Sie mehrere Crawler verwenden, dann werden InnoDB Sie Vorteile geben, wie Transaktionen, die helfen können.

AFAIK MySQL unterstützt nicht die Hardware-Konfiguration Sie vorschlagen. Wenn Sie große Speicher benötigen Sie wan bei MySQL Cluster tot aussehen.

Answer 2

ist MyISAM die erste Wahl, da Sie Schreib haben nur Operationen und Raupen - auch parallel laufen - konfiguriert werden - nehme ich an - verschiedene Domains / URLs zu kriechen. So brauchen Sie nicht um Zugriffskonflikte zu nehmen.

Wenn eine große Datenmenge zu schreiben, vor allem Text !, zu Mysql vermeiden Transaktionen, Indizes, usw., weil es drastisch MySQL verlangsamen wird.