لماذا مهلة WebClient عند محاولة الزحف هذا عنوان URL المختصر؟

StackOverflow https://stackoverflow.com/questions/897561

  •  23-08-2019
  •  | 
  •  

سؤال

لدي webcrawler صغير يجب أن يزحف في بعض الأحيان على Twitter وسحب URL. يمكنني استخدام إصدار معدلة من فئة WebClient المتوفرة في .NET Framework.

عادة هذا يعمل بشكل جيد، حتى مع تقصير URL من المواقع.

ومع ذلك، عند اتباع عنوان URL المختصر، تخرج أوقات WebClient.

تعتقد أنهم تصفية بعض العملاء؟

كيف يمكنني إصلاح هذا أو لماذا يحدث؟

هل كانت مفيدة؟

المحلول

هل أنت متأكد من أنك يمكن أن تصل إلى عنوان URL من شبكتك، دون المرور بالوكيل؟

هل يتبع عنصر تحكم WebClient الخاص بك؟ يمكنك اختبار هذا عن طريق إنشاء tinyurl. ومعرفة ما إذا كانت WebClient الخاصة بك يمكن أن تصفحها.

إذا كنت تمر عبر وكيل في متصفحك، فستحتاج إلى إعداده في عنصر تحكم WebClient.

يجب أن يكون من السهل الاختبار إذا كانت مرشح العملاء - قم بتعيين UserAgent على كائن الطلب لتتناسب مع ذلك من Firefox على سبيل المثال.

مرخصة بموجب: CC-BY-SA مع الإسناد
لا تنتمي إلى StackOverflow
scroll top