CURL을 사용하여 이메일 검색과 관련된 문제는 무엇입니까?

Question

로컬 네트워크에 추가하려는 새로운 기능은 PHP를 사용하여 Gmail, Yahoo 및 Hotmail과 같은 무료 이메일 서비스에서 이메일을 검색하는 기능입니다. 우리가 지불 할 수있는 서비스가 있지만 오히려 스스로 해킹 할 것입니다!

Google에는 API 만 있지만 나머지는 그렇지 않습니다. Curl을 사용하여 이메일을 검색하는 문제는 무엇입니까?

Curl과 PHP를 사용하여 Gmail 부분을 구현했습니다.

Answer 1

그것은 그 목적을 위해 웹 사이트를 스크레이프하기 위해 서비스 약관을 거의 위반합니다. 그들이 당신의 사이트를 재 설계하면, 당신이 사용하는 스크립트는 전자 메일 내용을 구문 분석하는 스크립트도 치명적으로 깨질 것입니다.

Yahoo, Gmail 및 Hotmail은 모두 지원합니다 POP3, 이메일 검색을위한 표준 프로토콜. 대신 사용하지 않는 이유는 무엇입니까?

Answer 2

누군가가 당신에게 API를 제공 할 때, 그들은 "코드 X를 실행하면 Y가 발생할 것입니다. 스크랩 스크랩을 선별 할 때 제공자로부터 그러한 약속이 없으며 많은 공급자가 서비스 약관에 명시 적으로 금지하는 품목을 가지고 있다고 약속합니다. 스크린 스크래핑. 기술적 인 관점에서 볼 때, 이는 페이지/응용 프로그램이 제공자가 실수로 또는 의도적으로 스크래프를 끊을 수있는 변경 사항을 겪을 수 있음을 의미합니다. 이것이 Captcha의 존재 이유입니다.

또한, 이러한 응용 프로그램은 점점 더 많은 "Ajax"스타일 아키텍처를 사용하고 있습니다. 즉, 응용 프로그램의 작동 방식을 역전시키고 각 응용 프로그램 변경 사항을 유지하기 위해 노력하고 있습니다.

마지막으로, 당신은 잘못하고 있습니다. 이메일은 그 자체로의 프로토콜 세트입니다. 대부분의 제공 업체는 POP3 및 IMAP를 통해 이메일에 액세스 할 수있는 방법이 있습니다. API와 마찬가지로 약속 된 동작 세트 인 POP/IMAP 서버와 상호 작용하기 위해 PHP 코드 해킹을 살펴 보았습니다. 또한 한 공급자를 위해 작성된 코드가 다른 공급자를 위해 (사소한 조정과 함께) 작동 할 가능성이 높습니다.

Answer 3

이메일 검색을위한 지원되는 표준 방법 인 POP 프로토콜을 사용하지 않는 이유가 있다고 가정합니다. 당신이 원하는 것처럼 그것을하기 위해서는 지원되지 않고 제공자의 사용 약관에 의해 다루지 않을 수도 있습니다.

그러나 캡처 해결이 당신의 방식으로 얻지 못하면 기술적으로 가능합니다. 각 공급자에 대해 다른 응용 프로그램을 작성해야합니다. 그들이 당신의 신청서를 채택해야 할 것을 바꾸는 경우.

Curl과 함께 작동하도록하려면 모든 페이지에서 제공하는 모든 쿠키를 수집하고 모든 요청에서 반환하십시오.

문제가있는 경우 (및 개발을위한 경우) 일부 도구 (예 : Windows의 Proxomitron)로 HTTP 요청 및 답변을 분석하고 CURL 요청이 성공할 때까지 브라우저 요청과 똑같이 보이게 할 수 있습니다. 결국 컬 요청을 브라우저를 통해 인간의 요청과 구별하기 위해 할 수있는 일은 없습니다. 내가 전에 말한 것처럼 보안 문자를 제외하고.

또 다른 것은 요청 사이의 간격이며, 자주 요청을 위해 차단 될 수 있습니다. 요청 사이에 무작위로 수정 된 일시 정지를 삽입 해보십시오.

개발 중에 귀하의 계정 또는 IP를 차단하는 것을 상상할 수 있습니다.이 경우 IP 및/또는 작업하는 계정을 변경해야합니다.