我可以告诉sitecrawlers访问某个页面？

Question

我有这样的Drupal网站，围绕文档数据库旋转。按照设计，你只能找到这些文件通过搜索网站。但我想所有结果由Googlebot和其他抓取索引，所以我在想，如果我做一个页面，列出了所有的文件，然后告诉机器人页面访问索引我的所有文件..？

这是可能的，或者是有没有更好的办法做到这一点？

Answer 1

也许网站地图

  

谷歌推出谷歌网站地图因此Web开发人员可以从跨他们的网站上发布的链接列表。其基本前提是，有些网站有大量的只能通过使用表格和用户输入动态网页。然后，网站地图文件可以用来表示网络爬虫怎么这么页面可以找到。谷歌，必应，雅虎和Ask现在共同支持Sitemap协议。

Answer 2

创建一个XML网站地图，并提交给谷歌。其他搜索引擎也支持这一点。

Answer 3

您应该做一个XML网站地图。还有在Drupal它一个模块调用 XML网站地图（它由超过42.000的Drupal网站） ：

从模块：

  

在XML地图模块创建一个网站地图符合该sitemaps.org规范。这有助于搜索引擎更智能地抓取网站，并保持其结果是最新的。由模块创建Sitemap可以自动提交给问问，谷歌，必应（前身为Windows Live搜索），和Yahoo!搜索引擎。该模块还带有几个子模块，可以增加对内容的网站地图的链接，菜单项，分类方面，和用户配置文件。

Answer 4

事实上，你可能会感兴趣的 Drupal的站点地图生成器插件这个..