什么时候谷歌重新抓取网站？ [关闭]

Question

在做谷歌重新抓取网站？ 又为何谷歌有相同页面的两个版本中的缓存??

http://forum.portal.edu.ro/index.php ？showtopic = 112733 缓存页面：forum.portal.edu.ro/index.php?showtopic=112733&st=25/ forum.portal.edu.ro/index.php?showtopic=112733&st=50

Answer 1

有关于谷歌的抓取政策很多的讨论。你能做的最好的就是检查你的日志，并确定他们的日程安排是什么您的网站。

至于在缓存中的多个条目，谷歌有没有办法知道他们是不是同一页面的方式;他们有不同的URL，可能不同的数据。如果你想使用一个特定的页面，请尝试使用<link rel="canonical" href="(standard URL)">。

Answer 2

如何往往页面被重新抓取取决于它有多高的排名是，你已经在你的站点地图建议什么更新间隔。一些其它因素也可被考虑，如页面的内容，并且其类型链接到它的网站。

在缓存中的两个页面并不在同一个页面，一个是第二页的线程，另一个是第三页。由于它们具有不同的URL，不同的内容它们是独立的页面。

如果你真的想要的页面被搜索引擎可以算作是相同的，你可以使用带有link一个rel="canonical"标签重新指向线程的第一页。

Answer 3

@克里斯：站点配置>设置>设置自定义抓取速度。此设置只确定有多少的速度你的网站可以被抓取，它不设置抓取频率。让你的网站获得更多的抓取，尝试发布您的网站与其他网站的一些链接也是如此。

Answer 4

可以增加在其抓取，通过调整率：

站点配置>设置>设置自定义抓取速度

Answer 5

这取决于的网站上的内容类型，并且还可以取决于其PageRank。提供很少更新的信息静态页面可能会得到一个访问每隔一个月左右，和流行的博客有很多帖子，每天可以得到一个抓取的一天数次。 （虽然在博客中的情况下，一般的博客软件将平搜索引擎，等等都是点播抓取）

看来，这些都是在中等流量的网站论坛的帖子，所以应该得到每周爬几次。即使是我自己的网站，目前拥有一颗800万下的Alexa排名，得到每周爬到每隔一周几乎每天robots.txt的请求。

具有类似内容的网页自动地获得组合在一起，但如果不是，尝试的rel =“规范”，由其它回答者给出提示。

@克里斯：没有，该设置不会改变你的网站是如何经常爬，快速谷歌只是如何抓取过程中请求的页面。这是一个误导性的设置，很多人都犯类似的错误，即使帮助页清楚地表明这一点。