Как запретить поисковым системам индексировать страницу обслуживания
Вопрос
Мне нужно настроить страницу обслуживания для веб-сайта, который я использую, например.для отображения, когда я выполняю обслуживание сайта (плановый простой) или если что-то действительно сломалось и мне нужно разместить страницу ожидания.
Нужно ли мне сделать что-то особенное, чтобы сканеры поисковых систем не индексировали его и не думали, что это мой сайт?Или мне следует сделать ошибку 404, добавить временный файл robots.txt или что-то в этом роде?По сути, я не хочу, чтобы они индексировали его как мой сайт, но я также не хочу, чтобы они думали, что мой сайт мертв, и не возвращались.
Редактировать: Вот что я сделал в Apache:ErrorDocument 503 /.server-maintenance.html RewriteEngine On RewriteRule !^.server-maintenance.html /server-maintenance Перенаправление 503 /server-maintenanceсильный текст
Решение
Вам следует отправить 503 Service Unavailable
Код состояния HTTP, а не 404
.Используйте это вместе с Retry-After
заголовок, чтобы сообщить роботам, когда вернуться.
Другие советы
Вы можете использовать robots.txt
Кроме того, в инструментах для веб-мастеров Google есть валидатор.
Возвращение 503 Service Unavailable
сообщает ботам Google, чтобы они вернулись позже.Есть Гугл страница поддержки описание кодов ошибок HTTP и того, как они ими интерпретируются.
Вы также можете использовать Заголовок ответа Retry-After чтобы предложить минимальное время, по истечении которого ваш сайт будет повторно проверен на доступность.
Другой подход — не связывать страницу обслуживания с любой другой страницей вашего веб-сайта (или любого другого веб-сайта).