题
我有一个小的WebCrawler,有时有Twitter的抓取和拉出的URL。我用在.NET Framework提供的Web客户端类的修改版本。
通常情况下能正常工作,甚至缩短的URL来自网站的。
但是,以下的缩短的URL时,Web客户端超时。
您认为他们会过滤某些客户端?
我怎样才能解决这个或为什么它的发生?
解决方案
您相信你可以打的网址从您的网络,而无需通过代理去?
请问你WebClient的控制遵循重定向?你可以通过创建一个 TinyURL的和看看你的Web客户端可以浏览到它。
如果你正在经历在您的浏览器的代理,则需要将其设置在Web客户端的控制。
它应该是容易测试,如果他们正在过滤的客户 - 设置请求对象上的用户代理,以匹配的FireFox的例如
不隶属于 StackOverflow