이 단축 된 URL을 크롤링하려고 할 때 WebClient가 타임 아웃하는 이유는 무엇입니까?

Question

때로는 트위터를 크롤링하고 URL을 꺼내야하는 작은 웹 크롤러가 있습니다. .NET Framework에서 제공된 WebClient 클래스의 수정 된 버전을 사용합니다.

일반적으로 이것은 사이트에서 URL이 단축 된 경우에도 잘 작동합니다.

그러나 단축 된 URL을 따를 때 웹 클리어는 시간이 소요됩니다.

특정 클라이언트를 필터링하고 있다고 생각하십니까?

이 문제를 해결할 수있는 방법이나 왜 그런 일이 발생합니까?

Answer 1

프록시를 통과하지 않고 네트워크에서 해당 URL을 누를 수 있습니까?

웹 클리어 제어가 리디렉션을 따르나요? 당신은 a를 만들어 이것을 테스트 할 수 있습니다 작은 웹 클라이언트가 탐색 할 수 있는지 확인하십시오.

브라우저에서 프록시를 통과하는 경우 WebClient Control에서 설정해야합니다.

클라이언트를 필터링하는지 쉽게 테스트 할 수 있어야합니다. 예를 들어 Firefox와 일치하도록 요청 객체에서 사용자 가건을 설정하십시오.