Perché timeout WebClient quando si cerca di eseguire la scansione di questo URL accorciato?

Question

Ho un piccolo webcrawler che a volte deve strisciare twitter e tirare fuori URL. Io uso una versione modificata della classe Webclient fornito nel framework .NET.

Di solito questo funziona bene, anche con accorciato URL da siti.

Tuttavia, quando a seguito di un URL accorciato, i timeout del servizio WebClient.

Pensi che vengono filtrati alcuni clienti?

Come posso risolvere questo problema o perché suo accadere?

Answer 1

Sei sicuro che si può colpire l'URL dalla rete, senza passare attraverso un proxy?

Il vostro controllo webclient segue i reindirizzamenti? Si potrebbe verificare ciò creando un TinyURL vedere se il vostro webclient può navigare ad esso.

Se si passa attraverso un proxy nel browser, è necessario configurarlo nel controllo WebClient.

Dovrebbe essere facile per verificare se sono filtrando i clienti -. Impostare l'UserAgent sull'oggetto Richiesta a corrispondere a quello di Firefox, ad esempio