有没有办法阻止 Googlebot 对页面的某些部分建立索引？

Question

是否有可能对 Google 的指令进行微调，使其忽略页面的一部分，但仍对其余部分进行索引？

我们遇到了一些不同的问题，这将有助于解决这些问题，例如：

• 页面上显示外部源内容的 RSS 提要/新闻收报机类型文本
• 用户输入联系电话等希望它们在网站上可见但又不想被谷歌搜索到的详细信息

我知道上述两个问题都可以通过其他技术来解决（例如使用 JavaScript 编写内容），但我想知道是否有人知道 Google 是否已经提供了更清晰的选项？

我一直在对此进行一些挖掘并提到 googleon 和 googleoff 标签, ，但这些似乎是 Google Search Appliance 独有的。

有谁知道 Googlebot 是否会遵守一组类似的标签？

编辑:只是为了澄清，我不想走上向谷歌隐藏/提供不同内容的危险路线，这就是为什么我想看看是否有一种“合法”的方式来实现我想做的事情这里。

Answer 1

你所要求的，实际上是无法完成的，谷歌要么占据整个页面，要么不占据任何页面。

不过，您可以采取一些偷偷摸摸的技巧，例如插入您不希望在 iFrame 中建立索引的页面部分，并使用 robots.txt 要求 Google 不要为该 iFrame 建立索引。

Answer 2

简而言之，不 - 除非您使用 Google 不鼓励的隐藏功能。

Answer 3

请从这里查看官方文档

http://code.google.com/apis/searchappliance/documentation/46/admin_crawl/Preparing.html

转到“从索引中排除不需要的文本”部分

<!--googleoff: index-->
here will be skipped
<!--googleon: index-->

Answer 4

找到了使用某些重复内容的有用资源，并且不允许搜索引擎对此类内容进行索引。

<p>This is normal (X)HTML content that will be indexed by Google.</p>

<!--googleoff: index-->

<p>This (X)HTML content will NOT be indexed by Google.</p>

<!--googleon: index>

Answer 5

在您的服务器上使用 PHP 或 ASP 通过 IP 检测搜索机器人。然后将您希望索引的页面版本提供给属于该列表的 IP 地址。在页面的搜索引擎友好版本中，使用规范链接标记向搜索引擎指定您不希望被索引的页面版本。

这样，包含确实想要索引的内容的页面将仅按地址进行索引，而仅对您希望索引的内容进行索引。这种方法不会让您被搜索引擎屏蔽，并且是完全安全的。

Answer 6

是的，您当然可以通过创建自定义 robots.txt 来阻止 Google 对您网站的某些部分建立索引，并编写您不想对哪些部分（如 wpadmins）或特定的帖子或页面建立索引，这样您就可以通过创建此 robots.txt 轻松地做到这一点。 txt 文件。在创建之前检查您的网站 robots.txt，例如 www.yoursite.com/robots.txt。

Answer 7

所有搜索引擎要么索引整个页面，要么忽略整个页面。实现你想要的唯一可能的方法是：

(a) 同一页面有两个不同版本

(b) 检测所使用的浏览器

(c) 如果是搜索引擎，则提供页面的第二个版本。

这个链接 可能会有所帮助。

Answer 8

有机器人的元标记，还有 robots.txt，您可以使用它们限制对某些目录的访问。