كيفية إرجاع 404 بشكل صحيح لـ Google مع توفير محتوى سهل الاستخدام للمستخدم؟

Question

أنا أرتد بين نشر هذا هنا وعلى Superuser. من فضلك معذرة إذا كنت تشعر أن هذا لا ينتمي هنا.

أنا أراقب السلوك الموصوف هنا - تطلب Googlebot عناوين URL عشوائية على موقعي ، مثل aecgeqfx.html أو sutwjemebk.html. أنا متأكد من أنني لا أربط عناوين URL هذه من أي مكان على موقعي.

أظن أن هذا قد يكون جوجل يبحث في كيفية التعامل مع المحتوى غير الموجود - للاستشهاد من إجابة على السؤال المرتبط:

 [google is requesting random urls to] see if your site correctly 
 handles non-existent files (by returning a 404 response header)

لدينا صفحة مخصصة لمحتوى غير موجود - صفحة مصممة تقول "لم يتم العثور على المحتوى ، إذا كنت تعتقد أنك حصلت على هنا عن طريق الخطأ ، يرجى الاتصال بنا" ، مع بعض الروابط الداخلية ، يتم تقديمها (بشكل طبيعي) 200 OK. يتم تقديم عنوان URL مباشرة (لا يوجد إعادة توجيه إلى عنوان URL واحد).

أخشى أن هذا قد يميز الموقع في Google - قد لا يفسرون صفحة سهلة الاستخدام على أنها أ 404 - not found وربما نعتقد أننا نحاول تزوير شيء ما ونوفر محتوى مكررًا.

كيف يجب أن أتابع التأكد من أن Google لن تعتقد أن الموقع زائف مع توفير رسالة سهلة الاستخدام للمستخدمين في حالة النقر على الروابط الميتة عن طريق الصدفة؟

Answer 1

تتمثل أفضل الممارسات في إرجاع صفحة 404 سهلة الاستخدام مع رمز استجابة 404 ، وليس 200. يجب على خادم الويب الخاص بك التعامل مع هذا لك بسهولة نسبيًا.

Answer 2

استخدم Errordocument في Apache

ErrorDocument 500 http://foo.example.com/cgi-bin/tester
ErrorDocument 404 /cgi-bin/bad_urls.pl
ErrorDocument 401 /subscription_info.html
ErrorDocument 403 "Sorry can't allow you access today"

يمكن أن يكون وثيقة الخطأ ما تريد. على سبيل المثال ، إذا كنت تستخدم PHP ، يمكنك إنشاء ملف يسمى Error404.php مثل هذا:

<?php
header("HTTP/1.0 404 Not Found");

echo 'Hi, this page does not exist...<img src="nice-logo.png" alt="logo" />'


?>

الشيء الوحيد المهم هو أن يجب أن تتضمن الاستجابة رمز 404 صحيحًا في الرأس - تم إخراجها بواسطة Apache أو PHP أو أي نص ديناميكي آخر.

مثال على مضحك 404: http://www.northernbrewer.com/brewing/weekly_fermenterd

Answer 3

لا يزال بإمكانك إرسال حالة 404 وتوفير رسائل سهلة الاستخدام للروابط الميتة في نفس الاستجابة. حتى "المستخدمين العاديين" يجب أن يحصلوا على حالة 404 حتى إذا كانت الصفحة لا تبدو مثل صفحة الفشل النموذجية. تعتمد كيفية اعتراض الطلب على خادم الويب الخاص بك. سيكون ذلك أسهل بكثير من اكتشاف وكيل المستخدم والقيام بشيء مختلف لـ GoogleBot.