Googlebots Игнорирование robots.txt? [закрыто]
-
19-08-2019 - |
Вопрос
У меня есть сайт со следующим robots.txt в корне:
User-agent: *
Disabled: /
User-agent: Googlebot
Disabled: /
User-agent: Googlebot-Image
Disallow: /
И страницы этого сайта сканируются роботами Google в течение всего дня. Что-то не так с моим файлом или с Google?
Решение
Это должно быть Disallow:
, а не Disabled:
.
Другие советы
Возможно, предоставьте Google robots.txt Checker попробовать
В Google есть инструмент для анализа записей robots.txt, читайте об этом здесь
Вы также можете проверить IP-адреса " rogue " роботы, чтобы узнать, действительно ли они принадлежат Google.
Также я считаю, что бот спускается по странице и принимает первую директиву, которая к нему относится. В вашем случае, Googlebot и Googlebot-Image никогда не увидят свои конкретные директивы, потому что они будут соблюдать & Quot; User-Agent: * & Quot; первый. р>
Не обращайте внимания на этот ответ. Я нашел информацию, указывающую на то, что это не так. Бот должен найти директиву, специфичную для него, и уважать ее