خوارزمية وسلوك Google Adsense Bot

Question

أنا مثير للاهتمام في خوارزمية وسلوك BOT من Google Adsense مع موقع الويب. لم أعمل مع AdSense وليس لدي حساب. لذلك أحتاج إلى مساعدتكم لفهم:

1) GBOT من وقت لآخر ينزل جميع الصفحات من موقع الويب. هل انا على حق؟

2) لا يفهم GBOT المحتوى الديناميكي (المحمّل بواسطة AJAX). لذلك يجب أن أقوم بإنشاء محتوى ثابت وإعادته ضمن صفحة HTML ويجب أن تظهر هذه الصفحات محتوى متطابقًا لجميع المستخدمين وللـ GBOT؟

3) بسبب (1) و (2) لا يمكنني استخدام مسار الجذر فقط http://example.com مع بعض القطعة "الرئيسية". يجب أن أقوم بإنشاء صفحات فريدة على سبيل المثال http://example.com/thread؟id=101 ?

4) يقوم GBOT بتنزيل الصفحات (1) للاستيلاء على (فهرسة) الكلمات الرئيسية منها ثم تخزين (على خوادمها) هذه المعلومات على سبيل المثال بواسطة المفتاح/القيمة (حيث يكون المفتاح مسار الصفحة ، القيمة هي العلامة السحابة). هل انا على حق؟

5) عندما يتم فتح موقع الويب في المتصفح من قبل المستخدم. يقوم رمز HTML Adsense المدمج بتحميل بعض JavaScript. كما أفهم من خلال "googling" ، فإن JavaScript لا تقم بفهرسة صفحة ، ولكنها تقوم بالاتصال (مع بعض المفاتيح المعلمة == page_path) إلى خادم Google وتحصل على روابط إعلانية مناسبة. ثم يعرض روابط الإعلان في إطاره. هل هو السلوك الصحيح؟ ربما تقوم JavaScript ببعض الفهرسة المحلية لمحتوى الصفحة؟

6) كيف تعمل جافا سكريبت GBOT و AdSense مع ملفات تعريف الارتباط؟ كما أفهم ، يمكن لـ AdSense استخدام ملفات تعريف الارتباط لإظهار روابط الإعلانات المناسبة. إذا كان ذلك صحيحًا ، فالرجاء إعطائي بعض حالات الاستخدام ؛)

أعلم أن الخوارزمية "الحقيقية" معروفة فقط من قبل المهندسين من Google. لكن البعض منكم كان لديه خبرة مع AdSense و Adsense HTML/JavaScript. الرجاء تصحيح رؤيتي لها ؛)

شكرا جزيلا لك على أي نصيحة !!!

ملاحظة: هذا السؤال مهم جدًا بالنسبة لي. إنه ليس سؤالًا من أجل المتعة! لذا من فضلك لا تغلقها ؛)

Answer 1

1) نعم إذا تمكنت GoogleBot من الوصول إلى الصفحات وإذا كان يعرف عن الصفحات من خلال رابط ، XMLSitemaps ، Google +1 ، إلخ.

2) ستقوم GoogleBot الآن بتقديم طلبات AJAX/XHR لفهم محتوى AJAX (http://googlewebmastercentral.blogspot.com/2011/11/get-post-and-safely-surfacing-more-of.html).

نعم ، يجب أن تعرض نفس المحتوى لـ GoogleBot كما تفعل مع المستخدمين ، وإلا فإن هذا سيكون مروعًا ، وهو مخالف للمبادئ التوجيهية.

3) هذا السؤال غير واضح. ولكن من الأفضل تغيير عنوان URL لأن Google ستعرف بعد ذلك كيفية فهرسة المحتوى بشكل منفصل. إذا كنت تستخدم AJAX ، فقد ترغب في التفكير في الرابط الثابت كما اقترحت ، أو يمكنك استخدام HTML5 Popstate.

4) نعم ، ستقوم Google بفهرسة الكلمات الموجودة على الصفحة. لست متأكدًا من تخزينه كزوج مفتاح/قيمة. لست متأكدًا مما إذا كانوا لا يزالون يستخدمون جدولًا كبيرًا (http://labs.google.com/papers/bigtable.html) ... لكن من المحتمل أن يستخدموا جدولًا كبيرًا أو نظامًا مشابهًا لتخزين الفهرس المقلوب .

5) تم تضمين رمز AdSense JavaScript ... بالنسبة لصفحات الويب الجديدة التي لم تراها Google من قبل ، فإنها تحاول تقديم أكثر الإعلانات ذات الصلة بناءً على المعلومات التي توجد على الويب حول الموقع أو ربما من خلال نص مرساة من الروابط التي توجيهها إلى تلك الصفحة. ومع ذلك ، للحصول على فهم أكثر دقة لمحتوى الصفحة ، سترسل Google روبوتًا محددًا من AdSense لزحف صفحتك ... في بعض الأحيان سترى أنها تأتي بسرعة كبيرة ، حتى بمجرد تحميل الصفحة لأول مرة زمن. يستخدم وكيل مستخدم مختلف عن GoogleBot التقليدي ... يمكنك العثور على جميع وكلاء المستخدمين من Google هنا (http://www.google.com/support/webmasters/bin/answer.py؟answer=1061943)

6) لا يقبل زواحف Google ملفات تعريف الارتباط ولن تمرر ملفات تعريف الارتباط إلى الخادم الخاص بك. يتعلق الأمر بالطبيعة الموزعة على نطاق واسع لزحف Google التي تجعل الحفاظ على ملفات تعريف الارتباط أو الجلسات صعبة للغاية.