Robots.txt لعدم السماح بكل شيء والسماح بأجزاء محددة فقط من الموقع / الصفحات. هو "السماح" بدعم من الزواحف مثل الموجات فوق الصوتية وسريعة؟

Question

أردت فقط معرفة ما إذا كان من الممكن عدم السماح بالموقع بأكمله للزحف والسماح على صفحات ويدات ويب محددة فقط؟ هو "السماح" بدعم من الزواحف مثل سريع وموجات فوق الصوتية؟

Answer 1

هناك السماح بالتوجيه ومع ذلك، ليس هناك ضمان أن بوت معين سيدعمه (مثلما لا يوجد أي ضمان سيحقق الروبوت حتى الروبوتس الخاص بك. ربما يمكن أن تخبر عن طريق فحص المدونات الخاصة بك ما إذا كانت الروبوتات المحددة كانت فهرسة فقط أجزاء موقع الويب الخاص بك فقط تسمح بها.

قد يبدو التنسيق للسماح بصفحة معينة أو قسم معين من موقع الويب الخاص بك:

Allow: /public/section1/
Disallow: /

هذا (يجب) يمنع الروبوتات من الزحف أو فهرسة أي شيء باستثناء المحتوى تحت / عام / القسم 1