أين تبدأ محركات البحث بالزحف؟

Question

ما الذي تستخدمه روبوتات محرك البحث كنقطة انطلاق؟هل هو بحث DNS أم أنها تبدأ بقائمة ثابتة من المواقع المعروفة؟أي تخمينات أو اقتراحات؟

Answer 1

يمكن تفسير سؤالك بطريقتين:

هل تسأل من أين تبدأ محركات البحث في الزحف بشكل عام، أو من أين تبدأ في الزحف إلى موقع معين؟

لا أعرف كيف يعمل اللاعبون الكبار؛ولكن إذا كنت تريد إنشاء محرك البحث الخاص بك، فربما ستزرعه في مواقع البوابات الشهيرة. موقع DMOZ.org يبدو أن نقطة انطلاق شعبية.نظرًا لأن اللاعبين الكبار لديهم بيانات أكثر بكثير مما لدينا، فمن المحتمل أن يبدأوا عمليات الزحف الخاصة بهم من مجموعة متنوعة من الأماكن.

إذا كنت تسأل عن المكان الذي يبدأ فيه SE بالزحف إلى موقعك المحدد، فمن المحتمل أن يكون لذلك علاقة كبيرة بصفحاتك الأكثر شيوعًا.أتصور أنه إذا كان لديك صفحة واحدة شائعة جدًا ترتبط بها الكثير من المواقع الأخرى، فستكون هذه هي الصفحة التي ستدخل منها المؤسسات الصغيرة نظرًا لوجود الكثير من نقاط الدخول من المواقع الأخرى.

لاحظ أنني لست في SEO أو أي شيء؛لقد قمت للتو بدراسة حركة مرور الروبوتات و SE لفترة من الوقت لمشروع كنت أعمل عليه.

Answer 2

يمكنك تقديم موقعك لمحركات البحث باستخدام نماذج التقديم للموقع - وهذا سوف يدخلك إلى نظامهم.من المستحيل تحديد متى يتم الزحف إليك فعليًا بعد ذلك - من التجربة، عادةً ما يستغرق الزحف الأولي حوالي أسبوع أو نحو ذلك (الصفحة الرئيسية، صفحتان أخريان، رابط واحد عميق من هناك).يمكنك زيادة عدد صفحاتك التي يتم الزحف إليها وفهرستها باستخدام بنية ارتباط دلالية واضحة وإرسال ملف خريطة الموقع - تسمح لك هذه بإدراج جميع صفحاتك ووزنها بالنسبة لبعضها البعض، مما يساعد محركات البحث على فهم مدى أهمية عرض كل جزء من الموقع مقارنة بالأجزاء الأخرى.

إذا كان موقعك مرتبطًا بمواقع ويب أخرى تم الزحف إليها، فسيتم الزحف إلى موقعك أيضًا، بدءًا من الصفحة المرتبطة، ثم ينتشر في النهاية إلى بقية موقعك.يمكن أن يستغرق هذا وقتًا طويلاً، ويعتمد على معدل الزحف للمواقع المرتبطة، لذا فإن إرسال عنوان URL هو أسرع طريقة لإعلام Google عنك!

إحدى الأدوات التي لا يمكنني أن أوصي بها بدرجة كافية هي أداة مشرفي المواقع جوجل.فهو يسمح لك بمعرفة عدد مرات الزحف إليك، وأي أخطاء عثر عليها Googlebot (الروابط المعطلة، وما إلى ذلك) ولديه مجموعة من الأدوات المفيدة الأخرى هناك.

Answer 3

من حيث المبدأ يبدأون بلا شيء.فقط عندما يطلب منهم شخص ما صراحة تضمين موقع الويب الخاص بهم، يمكنهم البدء في الزحف إلى هذا الموقع واستخدام الروابط الموجودة على هذا الموقع للبحث عن المزيد.

ومع ذلك، من الناحية العملية، سيضع منشئ (منشئو) محرك البحث بعض المواقع العشوائية التي يمكنهم التفكير فيها.على سبيل المثال، مدوناتهم الخاصة أو المواقع الموجودة في إشاراتهم المرجعية.

من الناحية النظرية، يمكن للمرء أيضًا اختيار بعض العناوين العشوائية ومعرفة ما إذا كان هناك موقع ويب هناك.أشك في أن أي شخص يفعل هذا بالرغم من ذلك؛ستعمل الطريقة المذكورة أعلاه بشكل جيد ولا تتطلب تعليمات برمجية إضافية فقط لتشغيل محرك البحث.