파이썬에서 JavaScript를 사용하여 생성 된 쿠키 검색

Question

나는 Cookiejar에 관한 많은 튜토리얼을 살펴 보았지만 내 문제는 Scape를 원하는 웹 페이지가 JavaScript를 사용하여 쿠키를 만들고 쿠키를 검색 할 수 없다는 것입니다. 이 문제에 대한 해결책이 있습니까?

Answer 1

모든 페이지가 동일한 JavaScript를 가지고 있다면 HTML을 구문 분석하여 해당 코드를 찾을 수있을 것입니다. 그로부터 쿠키가 설정 될 값을 얻을 수 있습니까?

그것은 당신의 스크래프를 제 3 자 웹 사이트의 변경에 상당히 취약하게 만들 것이지만, 그것은 스크래핑하는 동안 가장 종종 그렇습니다. (제 3 자 웹 사이트 소유자가 이런 식으로 콘텐츠를 받고 있다는 것을 좋아하지 않을 수도 있음을 명심하십시오.)

Answer 2

나는 당신에게 응답했습니다 다른 질문 또한 : 살펴보십시오 기계화. 아마도 내가 아는 가장 완벽하게 특징된 스크래핑 모듈 일 것입니다. 쿠키가 전송되면이 모듈을 사용하여 얻을 수 있다고 확신합니다.

Answer 3

어쩌면 파이썬 바인딩으로 JavaScript 엔진에서 JavaScript 코드를 실행할 수 있습니다. Python-spidermonkey 또는 Pyv8) 그리고 쿠키를 검색하십시오. 또는 JavaScript 코드가 클라이언트 측에서 실행되므로 쿠키 생성 코드를 Python으로 변환 할 수 있습니다.

Answer 4

실제 브라우저를 사용하여 페이지에 액세스 할 수 있습니다. 파미, Win32com 또는 유사하게, JavaScript는 기본 환경에서 실행됩니다.