كيفية الاقتراب من مناشف مجموعات Google Crawler

Question

كممارسة تمرين في آر إس إس، أود أن أكون قادرا على البحث من خلال مناقشات UNIX هذه على هذه المجموعة.

comp.unix.shell.

أعرف ما يكفي من بيثون وفهم آر إس إس الأساسية، لكنني عالق على ... كيف يمكنني الاستيلاء على جميع الرسائل بين تواريخ معينة، أو على الأقل جميع الرسائل بين Nth الأخيرة و mth الأخيرة؟

أوصاف عالية المستوى، رمز الزائفة هو موضع ترحيب.

شكرا لك!

تعديل:

أود أن أكون قادرا على العودة أكثر من 100 رسالة، ولكن لا أمسك مثل تحليل 10 رسائل في وقت ممكن مثل استخدام عنوان URL هذا:

http://groups.google.com/group/comp.unix.shell/topics؟hl=en&start=2000&sa=n.

يجب أن تكون هناك طريقة أفضل.

Answer 1

وكما ذكر Randal، فإن هذا ينتهك "جوجل" - ومع ذلك، باعتباره افتراضيا أو للاستخدام في موقع آخر دون هذه القيود التي يمكنك من خلالها تلاعب بسهولة بشيء ما Urllib. و جميلة. وبعد استخدم Urllib لفتح الصفحة ثم استخدم الجميلة الجميلة للاستيلاء على جميع مواضيع الخيط (والروابط إذا كنت ترغب في الزحف أعمق). يمكنك بعد ذلك العثور على الرابط برمجيا إلى الصفحة التالية من النتائج ثم قم بإجراء URLLIB آخر للذهاب إلى الصفحة 2 - ثم كرر العملية.

في هذه المرحلة، يجب أن يكون لديك كل البيانات الأولية، ثم إنها مسألة معالجة البيانات وتنفيذ وظيفة البحث الخاصة بك.

Answer 2

مجموعات جوجل الزحف تنتهك شروط خدمة Google, ، وتحديدا العبارة:

استخدام أي روبوت أو عنكبوت أو تطبيق بحث الموقع / استرجاع الموقع أو جهاز آخر لاسترداد أو فهرس أي جزء من الخدمة أو جمع المعلومات حول المستخدمين لأي غرض غير مصرح به

هل أنت متأكد أنك تريد أن تعلن أنك تفعل ذلك بصراحة؟ وأنت أعمى لعواقب النتيجة الخاصة بك؟

Answer 3

ل n الحديثة، يبدو أنك يمكن أن تمر بالمعلمة ?num=50 أو شيء ما في عنوان URL للتغذية

على سبيل المثال، 50 رسالة جديدة من Comp.unix.shell Group

http://groups.google.com/group/comp.unix.shell/feed/atom_v1_0_msgs.xml؟num=50.

ثم التقاط برنامج FeedParser مثل محلل تغذية العالمي

هنالك .update_parsed الخيار في feedparser., ، يمكنك استخدام ذلك للتحقق من MSG ضمن نطاق تاريخ معين

>>> e.updated_parsed              # parses all date formats
(2005, 11, 9, 11, 56, 34, 2, 313, 0)

Answer 4

هل فكرت في Yahoos YQL؟ انها ليست سيئة للغاية ويمكن أن تصل إلى الكثير من واجهات برمجة التطبيقات. http://developer.yahoo.com/yql/

لا أعرف إذا تم بيع المجموعات ولكن يمكنك الوصول إلى موجز آر إس إس. يمكن أن تكون مفيدة.