Как запретить поисковым системам индексировать страницу обслуживания

Question

Мне нужно настроить страницу обслуживания для веб-сайта, который я использую, например.для отображения, когда я выполняю обслуживание сайта (плановый простой) или если что-то действительно сломалось и мне нужно разместить страницу ожидания.

Нужно ли мне сделать что-то особенное, чтобы сканеры поисковых систем не индексировали его и не думали, что это мой сайт?Или мне следует сделать ошибку 404, добавить временный файл robots.txt или что-то в этом роде?По сути, я не хочу, чтобы они индексировали его как мой сайт, но я также не хочу, чтобы они думали, что мой сайт мертв, и не возвращались.

Редактировать: Вот что я сделал в Apache:ErrorDocument 503 /.server-maintenance.html RewriteEngine On RewriteRule !^.server-maintenance.html /server-maintenance Перенаправление 503 /server-maintenanceсильный текст

Answer 1

Вам следует отправить 503 Service Unavailable Код состояния HTTP, а не 404.Используйте это вместе с Retry-After заголовок, чтобы сообщить роботам, когда вернуться.

Answer 2

Вы можете использовать robots.txt

http://www.robotstxt.org/

Кроме того, в инструментах для веб-мастеров Google есть валидатор.

https://www.google.com/webmasters/tools/

Answer 3

Возвращение 503 Service Unavailable сообщает ботам Google, чтобы они вернулись позже.Есть Гугл страница поддержки описание кодов ошибок HTTP и того, как они ими интерпретируются.

Вы также можете использовать Заголовок ответа Retry-After чтобы предложить минимальное время, по истечении которого ваш сайт будет повторно проверен на доступность.

Answer 4

Другой подход — не связывать страницу обслуживания с любой другой страницей вашего веб-сайта (или любого другого веб-сайта).