ملف robots.txt الديناميكي
https://stackoverflow.com/questions/43971
-
09-06-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
Russianسؤال
لنفترض أن لدي موقع ويب لاستضافة المحتوى الذي أنشأه المجتمع والذي يستهدف مجموعة محددة جدًا من المستخدمين.الآن، لنفترض أنه من أجل تعزيز مجتمع أفضل، لدي منطقة خارج الموضوع حيث يمكن لأعضاء المجتمع النشر أو التحدث عن أي شيء يريدونه، بغض النظر عن الموضوع الرئيسي للموقع.
الآن أنا يريد سيتم فهرسة معظم المحتوى بواسطة Google.الاستثناء الملحوظ هو المحتوى خارج الموضوع.يحتوي كل موضوع على صفحته الخاصة، ولكن جميع المواضيع مدرجة في نفس المجلد، لذا لا يمكنني استبعاد محركات البحث من مجلد في مكان ما.ويجب أن تكون لكل صفحة.سيصبح ملف robots.txt التقليدي ضخمًا، فكيف يمكنني تحقيق ذلك؟
المحلول
سيعمل هذا مع جميع محركات البحث التي تعمل بشكل جيد، فقط قم بإضافته إلى ملف <head>:
<meta name="robots" content="noindex, nofollow" />
نصائح أخرى
إذا كنت أستخدم Apache، فسأستخدم mod-rewrite لاسم مستعار لـ robots.txt لبرنامج نصي يمكنه إنشاء المحتوى الضروري ديناميكيًا.
يحرر:إذا كنت تستخدم IIS يمكنك استخدام ISAPIRewrite لفعل نفس الشيء.
على غرار اقتراح @James Marshall - في ASP.NET، يمكنك استخدام HttpHandler لإعادة توجيه المكالمات إلى ملف robots.txt إلى البرنامج النصي الذي أنشأ المحتوى.
يمكنك تنفيذه عن طريق استبدال ملف robots.txt ببرنامج نصي ديناميكي يقوم بإنشاء الإخراج.باستخدام Apache، يمكنك إنشاء قاعدة .htaccess بسيطة لتحقيق ذلك.
RewriteRule ^robots\.txt$ /robots.php [NC,L]
بالنسبة لهذا الموضوع فقط، تأكد من أن رأسك يحتوي على علامة تعريف noindex.هذه طريقة أخرى لإخبار محركات البحث بعدم الزحف إلى صفحتك بخلاف الحظر في ملف robots.txt
فقط ضع في اعتبارك أن عدم السماح بملف robots.txt لن يمنع Google من فهرسة الصفحات التي تحتوي على روابط من مواقع خارجية، كل ما يفعله هو منع الزحف داخليًا.يرى http://www.webmasterworld.com/google/4490125.htm أو http://www.stonetemple.com/articles/interview-matt-cutts.shtml.
يمكنك عدم السماح لمحركات البحث بقراءة المحتوى الخاص بك أو فهرسته عن طريق تقييد العلامات الوصفية للروبوت.بهذه الطريقة، سيأخذ العنكبوت في الاعتبار تعليماتك وسيقوم بفهرسة الصفحات التي تريدها فقط.
حظر صفحة الويب الديناميكية عن طريق ملف robots.txt استخدم هذا الرمز
وكيل المستخدم:*
عدم السماح:/setnewsprefs؟
عدم السماح:/index.html؟
عدم السماح:/؟
يسمح:/?hl=
عدم السماح:/?hl=*&
