为什么当试图抓取这个缩短的URL WebClient的超时？

StackOverflow https://stackoverflow.com/questions/897561

  •  23-08-2019
  •  | 
  •  

题

我有一个小的WebCrawler，有时有Twitter的抓取和拉出的URL。我用在.NET Framework提供的Web客户端类的修改版本。

通常情况下能正常工作，甚至缩短的URL来自网站的。

但是，以下的缩短的URL时，Web客户端超时。

您认为他们会过滤某些客户端？

我怎样才能解决这个或为什么它的发生？

有帮助吗？

解决方案

您相信你可以打的网址从您的网络，而无需通过代理去？

请问你WebClient的控制遵循重定向？你可以通过创建一个 TinyURL的和看看你的Web客户端可以浏览到它。

如果你正在经历在您的浏览器的代理，则需要将其设置在Web客户端的控制。

它应该是容易测试，如果他们正在过滤的客户 - 设置请求对象上的用户代理，以匹配的FireFox的例如

许可以下： CC-BY-SA 和 归因
不隶属于 StackOverflow
scroll top