Herausfinden, wie wenn Google letzte durchforsteten
Frage
Ich möchte herausfinden, wie aktuelle Google-Cache-Kopie von einer großen Anzahl von Seiten ist. Ich glaube, ich muss
- Blick in den Protokollen für IP-Adressen,
- überprüfen, um User-Agent "Googlebot", dann finden
- exportieren Sie eine Liste, die jede Seite sagt, und wenn es wurde zuletzt besucht.
Ich stelle mir dies ein Cron-Job sein könnte, die wöchentlich läuft. Wenn dies richtig ist, wie würde ich schreibe das Drehbuch? Wenn dies falsch ist, was wäre ein besserer Weg?
Lösung
Google stellt diese Informationen bereits über Google Sitemaps . Ich habe es in den letzten drei Jahren - hervorragend.
Ihre Website SiteMaps hinzufügen und eine generierte SiteMap XML Ihrer Website (Google für Websites, die kostenlos zur Verfügung stellen) setzen auf Ihrem Webserver, dann lassen Sie Google den Rest. Es ist genannt Abschnitt in SiteMaps Crawling-Statistiken Das gibt Ihnen, was Sie wollen.
Erhalten Sie Googles Blick auf Ihrer Website und Probleme diagnostizieren
Sehen Sie, wie Google crawlt und indiziert Ihre Website und erfahren Sie mehr über spezifische Probleme wir haben es zugreifen.
Entdecken Sie Ihren Link und Abfrage Verkehr
anzeigen, klassifizieren und herunterladen umfassende Daten über interne und externe Links zu Ihrer Website mit neuem Link Reporting-Tools. Finden Sie heraus, welche Google-Suchanfragen Besucher auf Ihre Website, und genau sehen, wie Benutzer dort ankommen.
Teile Informationen über Ihre Website
Teilen Sie uns Ihre Seiten mit Sitemaps: welche sind die meisten Ihnen wichtig und wie oft sie Veränderung. Sie können uns auch wissen, wie Sie würden die URLs indexieren wir gerne erscheinen.
Andere Tipps
Das ist nicht nötig, können Sie einen Service-Aufruf zu Google tun, um die Cache-Seite zu sehen, dh die Suche nach Cache: stackoverflow.com , die die Zeit und das Datum enthalten. Ich wäre nicht überrascht, wenn es ein API-Aufruf ist dies mehr direkt (Update zu tun: Google-Suche API ).
Letzte Googlebot Zugriff kann auch kostenlos über einige Websites wie mypagerank.net oder die Google Toolbar zu finden.