In welcher Programmiersprache wird der GoogleBot (oder eine andere effiziente Web-Crawler) geschrieben?

Question

Weiß jemand, in welcher Programmiersprache der GoogleBot geschrieben wurde?

Oder allgemeiner, in welcher Sprache sind effiziente Web-Crawler geschrieben?

Ich habe viele in der Java-Sprache gesehen, aber es scheint mir nicht die am besten geeignete Sprache, um einen Web-Crawler zu entwickeln, da es viel zu viel Overhead erzeugt (mit Heritrix Web-Crawler versucht und extrem schwer ist).

Answer 1

Die sehr früheste Version, BackRub, wurde in Python und Java geschrieben.

Answer 2

Eine gebildete Vermutung ist Python. Sie beschäftigen den Schöpfer davon. Ich kann mir jedoch vorstellen, dass ihr Crawler wahrscheinlich eine verteilte App ist, die die Vorteile nutzt Karte verkleinern, In diesem Fall kann es sich tatsächlich um eine C/C ++ - Anwendung handeln.

Dies ist jedoch nicht der Punkt. Sie können einen effizienten Web-Crawler in vielen verschiedenen Sprachen schreiben und trotzdem das gleiche Ergebnis erzielen. Ein Hammer schlägt immer noch einen Nagel, selbst wenn es sich um einen gelben oder blauen Hammer handelt. Wählen Sie Ihre Lieblingsfarbe und verwenden Sie sie richtig.

Answer 3

Dies könnte helfen. Original Google Paper.

http://infolab.stanford.edu/~backrub/google.html

Answer 4

Ich weiß nichts über GoogleBot (höchstwahrscheinlich C oder Python), aber es gibt einige gute da draußen sowohl in Java als auch in .NET.

Eine der beliebtesten Open -Source -Optionen ist Nutch (oft mit Lucene verwendet).

Nutch selbst schreibt in Java und ist ziemlich effizient. Es gibt auch einen .NET -Anschluss namens Nutch.net.

Answer 5

Ich denke nicht, dass die Sprache so wichtig ist wie die spezifische Implementierung.

Was für ein Overhead sind Sie in Java besorgt? Speicher, Verarbeitungsleistung?