使用哪种编程语言是Googlebot（或任何其他高效的网络爬虫）？

Question

有谁知道Googlebot是用哪种编程语言编写的？

或者，更一般地说，哪种语言是高效的网络抓取工具？

我见过许多Java语言，但在我看来，开发网络爬虫并不是最合适的语言，因为它会产生太多的开销（尝试使用Heritrix网络爬虫，而且非常繁重）

Answer 1

最早的版本，Backrub，是用Python和Java编写的。

Answer 2

有根据的猜测是Python。他们聘请其创建者。但是，我可以想象他们的爬虫可能是一个利用 MapReduce 的分布式应用程序，其中它可能实际上是一个C / C ++应用程序。

但这不是重点。您可以使用多种不同语言编写高效的Web爬网程序，但仍可获得相同的结果。即使它是黄色或蓝色的锤子，锤子仍会击中钉子。选择您喜欢的颜色并正确使用它。

Answer 3

这可能会有所帮助。原始谷歌论文。

http://infolab.stanford.edu/~backrub/google.html

Answer 4

不了解GoogleBot（很可能是C或Python），但Java和.NET都有一些好的。

比较流行的开源选项之一是Nutch（经常与Lucene一起使用）。

Nutch本身就是用Java编写的，效率很高。还有一个名为Nutch.NET的.NET端口。

Answer 5

我认为这种语言不像具体实施那么重要。

您在Java中担心什么样的开销？记忆，处理能力？