الاستيلاء على النص من صفحة ويب

Question

أود أن أكتب البرنامج الذي سوف تجد حافلات مرات و تحديث صفحة ويب الشخصية وفقا لذلك.

إذا كان لي أن تفعل ذلك يدويا أود أن

1. زيارة www.calgarytransit.com
2. إدخال توقف عدد.ie) 9510
3. انقر فوق الزر "التالي الحافلة"

النتائج قد تبدو كما يلي:

10:16p الطريق 154
10:46p الطريق 154
11:32p الطريق 154

مرة واحدة لقد أمسك الوقت وطرق وبعد ذلك سيتم تحديث صفحتي وفقا لذلك.

ليس لدي أي فكرة من أين تبدأ.أعرف الأن القرفصاء حول برمجة الويب ولكن يمكن كتابة C و Python.ما هي بعض المواضيع/مكتبات أنا يمكن أن ننظر ؟

Answer 1

شوربة جميلة هو بيثون مكتبة مصممة لتحليل صفحات ويب.بين ذلك ، urllib2 (urllib.طلب في بيثون 3) يجب أن تكون قادرة على معرفة ما تحتاج إليه.

Answer 2

ما كنت تسأل عن ما يسمى "الويب كشط." أنا متأكد إذا كنت جوجل حولك سوف تجد بعض الأشياء لكن جوهر الفكرة التي تريد فتح اتصال إلى الموقع ، إلتهم في HTML, تحليل و تحديد قطع تريد.

على بيثون ويكي لديه الكثير من الأشياء على هذا.

Answer 3

منذ كنت أكتب في ج ، قد ترغب في التحقق حليقة;على وجه الخصوص, نلقي نظرة على libcurl.انه لشيء رائع.

Answer 4

يمكنك استخدام المكننة المكتبة التي تتوفر على الثعبان http://wwwsearch.sourceforge.net/mechanize/

Answer 5

يمكنك استخدام بيرل لمساعدتك على إكمال مهمتك.

use strict;
use LWP;

my $browser = LWP::UserAgent->new;

my $responce = $browser->get("http://google.com");
print $responce->content;

ردكم كائن يمكن أن أقول لكم إذا كان suceeded وكذلك إعادة محتويات الصفحة.يمكنك أيضا استخدام نفس هذه المكتبة إلى آخر صفحة.

هنا بعض الوثائق. http://metacpan.org/pod/LWP::UserAgent

Answer 6

هذا الموقع لا نقدم API بالنسبة لك أن تكون قادرة على الحصول على البيانات المناسبة التي تحتاج إليها.في هذه الحالة سوف تحتاج إلى تحليل الفعلية صفحة HTML عاد من قبل ، على سبيل المثال ، حليقة الطلب .

Answer 7

وهذا ما يسمى ويب إلغاء, و حتى الخاصة مقالة ويكيبيديا حيث يمكنك العثور على مزيد من المعلومات.

أيضا, قد تجد المزيد من التفاصيل في هذا حتى المناقشة.

Answer 8

طالما تخطيط صفحة الويب الخاصة بك في محاولة 'كشط' لا تغيير بانتظام ، يجب أن تكون قادرا على تحليل html مع أي حديث اليوم لغة البرمجة.