Googlebots يتجاهل ملف robots.txt؟[مغلق]

Question

لدي موقع يحتوي على ملف robots.txt التالي في الجذر:

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

ويتم فحص الصفحات الموجودة داخل هذا الموقع بواسطة Googlebots طوال اليوم.هل هناك خطأ ما في ملفي أو في Google؟

Answer 1

يجب Disallow: و، وليس Disabled:.

Answer 2

وربما تعطي جوجل ملف robots.txt المدقق محاولة

Answer 3

وجوجل لديها أداة تحليل لفحص إدخالات ملف robots.txt، <وأ href = "http://www.google.com/support/webmasters/bin/answer.py؟answer=35237&ctx=sibling" يختلط = "نوفولو noreferrer "> قرأت عن ذلك هنا

وقد ترغب أيضا للتحقق من عناوين IP من الروبوتات "المارقة" لمعرفة ما اذا كانوا حقا مملوكة من قبل جوجل.

Answer 4

وأعتقد أيضًا أن الروبوت ينزل إلى أسفل الصفحة ويأخذ التوجيه الأول الذي ينطبق عليه.في حالتك، لن يرى Googlebot وGooglebot-Image أبدًا التوجيهات المحددة الخاصة بهما لأنهما سيحترمان "وكيل المستخدم:"*" أولاً.

تجاهل هذه الإجابة.لقد وجدت معلومات تشير إلى أن هذا ليس هو الحال.يجب أن يجد الروبوت التوجيه الخاص به ويحترمه