파이썬에서 사이트를 긁어 내기 위해 쿠키를 가짜

StackOverflow https://stackoverflow.com/questions/1117491

  •  12-09-2019
  •  | 
  •  

문제

스크랩하려는 사이트는 JS를 사용하여 쿠키를 만듭니다. 내가 생각했던 것은 파이썬에서 쿠키를 만들고 그 쿠키를 사용하여 사이트를 긁어 낼 수 있다는 것입니다. 그러나 나는 그렇게하는 방법을 모른다. 아무도 아이디어가 있습니까?

도움이 되었습니까?

해결책

참조하십시오 Python httplib2- http 양식 게시물의 쿠키 처리 요청에 쿠키를 추가하는 예.

종종 웹 기반 응용 프로그램에서 작업을 자동화해야합니다. HTTP를 통해 실제 사용자의 상호 작용을 시뮬레이션하여 프로토콜 수준 에서이 작업을 수행하고 싶습니다. Python에는 URLLIB (고급 웹 인터페이스) 및 HTTPLIB (하위 레벨 HTTP 인터페이스)의 두 가지 내장 모듈이 제공됩니다.

다른 팁

더 많은 관련 브라우저 에뮬레이션 (쿠키 설정 포함)을보고 싶다면 기계화. 시뮬레이션 기능은 거의 완료되었습니다 (불행히도 JavaScript 지원은 없습니다) : 나는 그것을 사용하여 많은 성공을 거두었습니다.

라이센스 : CC-BY-SA ~와 함께 속성
제휴하지 않습니다 StackOverflow
scroll top