بوت جودة الويب

Question

أنا أبحث عن بوت مصدر مفتوح جيد لتحديد بعض الجودة، وغالبا ما تكون مطلوبة لفهرسة Google.

علي سبيل المثال

• ابحث عن عناوين مكررة
• روابط غير صالحة (JSPIDER القيام بذلك، وأعتقد أن الكثير سوف تفعل هذا)
• بالضبط نفس الصفحة، ولكن عناوين URL مختلفة
• الخ، حيث إلخ يساوي reqs جودة جوجل.

Answer 1

الاحتياجات الخاصة بك محددة جدا لذلك من غير المرجح أن يكون هناك منتج مفتوح المصدر الذي يفعل بالضبط ما تريد.

ومع ذلك، هناك العديد من الأطر المصدر المفتوحة لبناء زحف الويب. أي واحد تستخدمه يعتمد على تفضيل لغتك.

علي سبيل المثال:

• لبثيون، حاول الرملي
• ل Java، حاول arachnid.
• ل ruby، حاول شقائق النعمان
• ل perl، يحاول www :: العنكبوت

بشكل عام، ستوفر هذه الأطر دروسا للزحف وإحباط صفحات موقع بناء على القواعد التي تقدمها، ولكن بعد ذلك الأمر متروك لك لاستخراج البيانات التي تحتاجها عن طريق ربط التعليمات البرمجية الخاصة بك.

Answer 2

أدوات مشرفي المواقع Google هي خدمة قائمة على الويب (بدلا من الروبوت عند الطلب)، ولا تفعل كل ما طلبته - لكنه يفعل بعضا من ذلك والكثير من الأشياء التي لم تطلبها و- يجري من Google - بلا شك يطابق الغريب "إلخ، أين يساوي reqs جودة جوجل." أفضل من أي مكان آخر سوف.