Google이 마지막으로 기어 올랐을 때의 방법을 알아 봅니다

Question

Google의 큰 페이지 세트의 현재 캐시 된 사본이 어떻게 진행되는지 알고 싶습니다. 나는 필요하다고 생각합니다

1. IP에 대한 로그를 살펴보십시오.
2. 그렇다면 사용자 에이전트 "GoogleBot"을 찾으십시오
3. 각 페이지가 표시된 목록과 마지막으로 방문한 목록을 내보내십시오.

나는 이것이 매주 운영되는 Cron 직업 일 수 있다고 생각합니다. 이것이 옳다면 어떻게 스크립트를 작성합니까? 이것이 잘못되면 더 나은 방법은 무엇입니까?

Answer 1

Google은 이미이 정보를 통해 제공합니다 Google 사이트 맵. 나는 지난 3 년간 그것을 사용해 왔습니다 - 훌륭합니다.

사이트를 사이트 맵에 추가하고 웹 서버에 사이트의 생성 된 Siteemap XML (이 무료 제공 웹 사이트)을 웹 서버에 넣은 다음 Google이 나머지 작업을 수행하도록하십시오. SiteMaps에 호출되는 섹션이 있습니다 크롤링 통계 그것은 당신이 원하는 것을 제공합니다.

사이트에 대한 Google의 견해를 얻고 문제를 진단하십시오.

Google이 귀하의 사이트를 크롤링하고 인덱싱하는 방법을보고, 우리가 액세스하고있는 특정 문제에 대해 배우십시오.

링크 및 쿼리 트래픽을 발견하십시오

새로운 링크보고 도구를 사용하여 사이트에 대한 내부 및 외부 링크에 대한 포괄적 인 데이터를보고, 분류하고, 다운로드합니다. 어떤 Google 검색 쿼리가 귀하의 사이트로 트래픽을 유도하고 사용자가 어떻게 도착하는지 정확하게 확인하십시오.

귀하의 사이트에 대한 정보를 공유하십시오

사이트 맵이있는 귀하의 페이지에 대해 알려주십시오. 어떤 것이 귀하에게 가장 중요하고 얼마나 자주 변경되는지를 알려주십시오. 또한 인덱스가 나타나기 위해 URL을 원하는 방법을 알려줄 수도 있습니다.

Answer 2

필요한 것은 아닙니다. 캐시 된 페이지를 찾아서 Google에 서비스 호출을 할 수 있습니다. 캐시 : stackoverflow.com, 시간과 날짜가 포함되어 있습니다. 이것을보다 직접 수행하기 위해 API 호출이 있다면 놀라지 않을 것입니다 (업데이트 : Google 검색 API).

Answer 3

마지막 GoogleBot 액세스는 MyPagerank.net 또는 Google 도구 모음과 같은 일부 웹 사이트를 통해 무료로 찾을 수 있습니다.