Warum Timeout WebClient bei dem Versuch, diese verkürzte URL zu kriechen?

Question

Ich habe einen kleinen Webcrawler, die manchmal twitter zu kriechen hat und herausziehen URLs. Ich verwende eine modifizierte Version der Webclient-Klasse in .NET Framework zur Verfügung gestellt.

Normalerweise funktioniert das gut, auch mit verkürzten URLs von Websites.

Wenn jedoch im Anschluss an eine verkürzte URL, das webclient mal aus.

Sie denken, dass sie das Filtern bestimmter Kunden?

Wie kann ich dieses Problem beheben oder warum seine passiert?

Answer 1

Sind Sie sicher, dass Sie diese URL aus Ihrem Netzwerk treffen können, ohne den Umweg über einen Proxy zu gehen?

Hat Ihre webclient Steuer Umleitungen folgen? Sie können dies testen, indem Sie einen TinyURL und sehen, ob Ihr webclient es durchsuchen können.

Wenn Sie über einen Proxy in Ihrem Browser gehen, werden Sie es einrichten müssen im WebClient steuern.

Es sollte einfach sein, zu testen, ob sie Kunden sind Filterung -. Den Useragenten auf dem Request-Objekt festgelegt, dass von FireFox zum Beispiel passen