¿En qué lenguaje de programación está escrito el robot de Google (o cualquier otro rastreador web eficiente)?

Question

¿Alguien sabe en qué lenguaje de programación se escribió el robot de Google?

O, más generalmente, ¿en qué idioma se escriben los rastreadores web eficientes?

He visto muchos en lenguaje Java, pero no me parece el lenguaje más apropiado para desarrollar un rastreador web porque crea demasiada sobrecarga (probado con el rastreador web Heritrix, y es extremadamente pesado) .

Answer 1

La versión más antigua, Backrub, se escribió en Python y Java .

Answer 2

Una suposición educada es Python. emplean al creador del mismo . Sin embargo, puedo imaginar que su rastreador probablemente sea una aplicación distribuida que aprovecha MapReduce , en la que caso, en realidad podría ser una aplicación C / C ++.

Sin embargo, esto no viene al caso. Puede escribir un rastreador web eficiente en muchos idiomas diferentes y aún así obtener el mismo resultado. Un martillo aún golpeará un clavo, incluso si es un martillo amarillo o azul. Elige tu color favorito y úsalo correctamente.

Answer 3

Esto podría ayudar. Google Paper original.

http://infolab.stanford.edu/~backrub/google.html

Answer 4

No sé acerca de GoogleBot (probablemente C o Python), pero hay algunos buenos en Java y .NET.

Una de las opciones de código abierto más populares es Nutch (a menudo usado con Lucene).

Nutch está escribiendo en Java y es bastante eficiente. También hay un puerto .NET llamado Nutch.NET.

Answer 5

No creo que el lenguaje importe tanto como la implementación específica.

¿Qué tipo de sobrecarga le preocupa en Java? memoria, potencia de procesamiento?