На каком языке программирования написан робот Googlebot (или любой другой эффективный веб-сканер)?
https://stackoverflow.com/questions/1638973
-
08-07-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
Кто-нибудь знает, на каком языке программирования был написан робот Google?
Или, в более общем плане, на каком языке написаны эффективные веб-сканеры?
Я видел много на языке Java, но он не кажется мне наиболее подходящим языком для разработки веб-сканера, потому что он создает слишком много накладных расходов (пробовал с веб-сканером Heritrix, и он очень тяжелый) .
Решение
Самая ранняя версия, Backrub, была написана на Python и Java .
Другие советы
Образованное предположение - это Python. Они нанимают его создателя . Однако я могу предположить, что их сканер, вероятно, является распределенным приложением, использующим преимущества MapReduce , в котором на самом деле это может быть приложение C / C ++.
Хотя это и не главное. Вы можете написать эффективный веб-сканер на разных языках и при этом получить тот же результат. Молоток все равно ударит в гвоздь, даже если это желтый или синий молоток. Выберите свой любимый цвет и используйте его правильно.
Это может помочь. Оригинальная бумага Google.
Не знаю о GoogleBot (скорее всего, C или Python), но есть и хорошие, и в Java, и в .NET.
Одним из наиболее популярных вариантов с открытым исходным кодом является Nutch (часто используется с Lucene).
Nutch сам пишет на Java и довольно эффективен. Также есть порт .NET под названием Nutch.NET.
Я не думаю, что язык будет иметь такое же значение, как конкретная реализация.
О каких накладных расходах вы беспокоитесь в Java? память, вычислительная мощность?
