如何停止搜索引擎为维护页面索引

Question

我需要为正在运行的网站设置维护页面，例如，当我执行网站维护（计划停机时间）时，或者是否确实有所破坏，我需要放置一个保留页面。

我需要做什么特别的事情来确保搜索引擎爬网不会索引并认为这是我的网站。还是我应该执行404，添加临时robots.txt文件或其他内容？我基本上不希望他们将其索引为我的网站，但我也不希望他们认为我的网站已经死了，没有回来。

编辑： 这是我在apache中所做的：errordocument 503 /server-maintenance.html rewriteEngine on Rewriterule！强烈的文字

Answer 1

你应该发送一个 503 Service Unavailable HTTP状态代码，而不是 404. 。与A结合使用 Retry-After 标题告诉机器人什么时候回来。

Answer 2

您可以使用robots.txt

http://www.robotstxt.org/

此外，Google在其网站管理员工具中具有验证器。

https://www.google.com/webmasters/tools/

Answer 3

返回 503 Service Unavailable 告诉Google Bot稍后再回来。有一个谷歌 支持页面 描述HTTP错误代码及其如何解释它们。

您也可以使用 重试响应标头 建议您重新检查您的网站以获取可用性的最短时间。

Answer 4

另一种方法是不要从网站（或任何其他网站）上的任何其他页面上链接维护页面。