In quale linguaggio di programmazione è scritto Googlebot (o qualsiasi altro efficiente web crawler)?

Question

Qualcuno sa in quale linguaggio di programmazione è stato scritto Googlebot?

O, più in generale, in quale lingua sono scritti i web crawler efficienti?

Ne ho visti molti in linguaggio Java, ma non mi sembra il linguaggio più appropriato per sviluppare un web crawler perché crea un sovraccarico eccessivo (provato con il web crawler Heritrix ed è estremamente pesante) .

Answer 1

La primissima versione, Backrub, è stata scritta in Python e Java .

Answer 2

Un'ipotesi istruita è Python. Essi ne impiegano il creatore . Tuttavia, posso immaginare che il loro crawler sia probabilmente un'app distribuita che sfrutta MapReduce , in cui potrebbe effettivamente essere un'applicazione C / C ++.

Questo è oltre il punto, però. Puoi scrivere un web crawler efficiente in molte lingue diverse e ottenere comunque lo stesso risultato. Un martello colpirà comunque un chiodo anche se è un martello giallo o blu. Scegli il tuo colore preferito e usalo correttamente.

Answer 3

Questo potrebbe aiutare. Carta google originale.

http://infolab.stanford.edu/~backrub/google.html

Answer 4

Non so di GoogleBot (molto probabilmente C o Python) ma ce ne sono alcuni buoni in Java e .NET.

Una delle opzioni open source più popolari è Nutch (spesso usata con Lucene).

Nutch stesso sta scrivendo in Java ed è abbastanza efficiente. C'è anche una porta .NET chiamata Nutch.NET.

Answer 5

Non credo che il linguaggio sia importante tanto quanto l'implementazione specifica.

Di che tipo di spese generali ti preoccupi in Java? memoria, potenza di elaborazione?