معرفة كيف عندما كانت جوجل الأخيرة الزحف

Question

أود معرفة كيفية نسخ Google المخزنة بالخزنة الحالية من مجموعة كبيرة من الصفحات. أعتقد أنني بحاجة إلى

1. ابحث في سجلات IP،
2. تحقق للعثور على وكيل المستخدم "googlebot"، ثم
3. تصدير قائمة تقول كل صفحة وعندما تم زيارة آخر مرة.

أتصور أن هذا قد يكون وظيفة كرون يدير أسبوعيا. إذا كان هذا صحيحا، فكيف أكتب البرنامج النصي؟ إذا كان هذا خطأ، فما هي طريقة أفضل؟

Answer 1

تقدم Google بالفعل هذه المعلومات عبر Google Sitemaps.. وبعد لقد استخدمتها على مدى السنوات الثلاث الماضية - يعمل بشكل رائع.

أضف موقعك إلى SITEMAPS وضع ملفات خريطة الموقع المولدة من موقعك (Google للمواقع الإلكترونية التي توفر هذا المجاني) على خادم الويب الخاص بك، ثم اترك Google تفعل الباقي. هناك قسم في Sitemap احصائيات الزحف هذا يمنحك ما تريد.

احصل على عرض Google الخاص بموقعك وتشخيص المشكلات

انظر كيف تزحف Google وفهرست موقعك وتعرف على مشاكل محددة سنقوم بالوصول إليها.

اكتشاف رابطك وحركة المرور الخاصة بك

عرض وتصنيف وتنزيل البيانات الشاملة عن الروابط الداخلية والخارجية إلى موقعك مع أدوات Rink Reporting الجديدة. تعرف على استعلامات بحث Google التي تدفع حركة المرور إلى موقعك، ونرى بالضبط كيفية وصول المستخدمين هناك.

مشاركة المعلومات حول موقعك

أخبرنا عن صفحاتك مع Sitemaps: ما هي الأكثر أهمية بالنسبة لك وعدد مرات تغييرها. يمكنك أيضا إعلامنا كيف تريد أن تظهر عناوين URL.

Answer 2

ليس ذلك ضروريا، يمكنك إجراء مكالمة خدمة إلى Google للبحث عن الصفحة المخزنة مؤقتا، أي البحث عن ذاكرة التخزين المؤقت: stackoverflow.com., ، والتي تضمنت الوقت والتاريخ. لن أتفاجأ إذا كان هناك دعوة API للقيام بذلك بشكل مباشر (تحديث: بحث Google API.).

Answer 3

يمكن أيضا العثور على آخر اتصال GoogleBot مجانا عبر بعض مواقع الويب مثل mypagerank.net أو شريط أدوات Google.