多个站点地图：robots.txt 中的条目？

StackOverflow https://stackoverflow.com/questions/2594179

  •  25-09-2019
  •  | 
  •  

题

我一直在使用谷歌搜索，但找不到这个问题的答案。

robots.txt 文件可以包含以下行：

Sitemap: http://www.mysite.com/sitemapindex.xml

但是是否可以在 robots.txt 中指定多个站点地图索引文件，并使搜索引擎识别并抓取每个站点地图索引文件中引用的所有站点地图？例如，这是否有效：

Sitemap: http://www.mysite.com/sitemapindex1.xml

Sitemap: http://www.mysite.com/sitemapindex2.xml

Sitemap: http://www.mysite.com/sitemapindex3.xml
有帮助吗？

解决方案

有可能给他们写，但它是由搜索引擎知道该怎么做。我怀疑很多搜索引擎要么“不断消化”越来越多的令牌，或者采取最后的网站地图，他们发现为真实的。

我提出这个问题是“如果我想____搜索引擎索引我的网站，我会能够定义多个Sitemap吗？”

其他提示

是的，有可能有 多个站点地图索引文件:

你可以有 超过一个 站点地图索引文件。

由我突出显示。

是的，可以在其中列出多个站点地图文件 robots.txt, 另请参阅 在 sitemap.org 网站上:

您可以指定 超过一个 每个 robots.txt 文件的站点地图文件。

Sitemap: http://www.example.com/sitemap-host1.xml

Sitemap: http://www.example.com/sitemap-host2.xml

我强调一下，这不能误读我想说的，所以简单地说，这是可以做到的。

这对于交叉提交也是必要的，顺便说一句。这 robots.txt 已被选择。

顺便提一句 谷歌, 雅虎 和 必应, ， 全部是 sitemaps.org 的成员:

Sitemap 0.90 根据 Attribution-ShareAlike Creative Commons License 的条款提供，并得到广泛采用，包括来自 Google、Yahoo! 和 Microsoft 的支持。

因此，您可以放心，搜索引擎机器人将正确读取您的站点地图条目。

通过网站管理员工具提交它们也不会造成伤害 - 因为 约翰·米勒 评论了.

如果您的站点地图超过 10 MB（未压缩）或包含超过 50,000 个条目，Google 要求您使用与一个站点捆绑在一起的多个站点地图。 站点地图索引文件.

在您的 robots.txt 中指向站点地图索引，该索引应如下所示： 

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <sitemap>
      <loc>http://www.example.com/sitemap1.xml.gz</loc>
      <lastmod>2012-10-01T18:23:17+00:00</lastmod>
   </sitemap>
   <sitemap>
      <loc>http://www.example.com/sitemap2.xml.gz</loc>
      <lastmod>2012-01-01</lastmod>
   </sitemap>
</sitemapindex>

建议创建站点地图索引文件，而不是将单独的 XML URL 放入 robots.txt 文件中。

然后，将索引站点地图 URL 放入 robots.txt 文件中，如下所示。

Sitemap: http://www.yoursite.com/sitemap_index.xml

如果您想了解如何创建索引站点地图 URL，请按照此操作 来自 sitemap.org 的指南

最佳实践：

  • 如果您的网站有大量此类内容，请分别创建图像站点地图、视频站点地图。
  • 检查 robots 文件的拼写，应该是 机器人.txt, ，不要使用 robots.txt 或任何拼写错误。仅将 robots.txt 文件直接放在根目录中。
  • 欲了解更多信息，您可以访问 robots.txt的官方网站.
许可以下： CC-BY-SA 和 归因
不隶属于 StackOverflow
scroll top