في أي لغة برمجة تتم كتابة GoogleBot (أو أي جهد ويب فعال آخر)؟

Question

هل يعرف أحد في لغة البرمجة التي كتبها GoogleBot؟

أو بشكل أعم ، في أي لغة تتم كتابة كفاءة على شبكة الإنترنت؟

لقد رأيت الكثير بلغة Java ، لكن لا يبدو لي اللغة الأنسب لتطوير جزر ويب لأنها تخلق الكثير من النفقات العامة (التي تمت تجربتها مع Heritrix على شبكة الإنترنت ، وهي ثقيلة للغاية).

Answer 1

أقرب نسخة ، backrub ، كتب في بيثون وجافا.

Answer 2

التخمين المتعلم هو بيثون. أنهم توظيف خالقه. ومع ذلك ، أستطيع أن أتخيل أن زاحفهم ربما يكون تطبيقًا موزعًا يستفيد منه MapReduce, ، في هذه الحالة ، قد يكون تطبيق C/C ++ بالفعل.

هذا إلى جانب النقطة ، رغم ذلك. يمكنك كتابة جهد ويب فعال في العديد من اللغات المختلفة ولا تزال تحصل على نفس النتيجة. ستظل المطرقة تضرب مسمارًا حتى لو كانت مطرقة صفراء أو زرقاء. اختر لونك المفضل واستخدمه بشكل صحيح.

Answer 3

هذا قد يساعد. ورقة Google الأصلية.

http://infolab.stanford.edu/~backrub/google.html

Answer 4

لا أعرف عن GoogleBot (على الأرجح C أو Python) ولكن هناك بعض الأشياء الجيدة الموجودة في كل من Java و .NET.

أحد خيارات المصدر المفتوح الأكثر شعبية هو Nutch (غالبًا ما يستخدم مع Lucene).

نوتش نفسها تكتب في جافا وهي فعالة إلى حد ما. هناك أيضًا منفذ .NET يسمى nutch.net.

Answer 5

لا أعتقد أن اللغة ستهم بقدر التنفيذ المحدد.

ما نوع النفقات العامة التي تشعر بالقلق بشأنها في جافا؟ الذاكرة ، قوة المعالجة؟