Googlebots Игнорирование robots.txt? [закрыто]

StackOverflow https://stackoverflow.com/questions/344697

  •  19-08-2019
  •  | 
  •  

Вопрос

У меня есть сайт со следующим robots.txt в корне: 

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

И страницы этого сайта сканируются роботами Google в течение всего дня. Что-то не так с моим файлом или с Google?

Это было полезно?

Решение

Это должно быть Disallow:, а не Disabled:.

Другие советы

Возможно, предоставьте Google robots.txt Checker попробовать

В Google есть инструмент для анализа записей robots.txt, читайте об этом здесь

Вы также можете проверить IP-адреса " rogue " роботы, чтобы узнать, действительно ли они принадлежат Google.

Также я считаю, что бот спускается по странице и принимает первую директиву, которая к нему относится. В вашем случае, Googlebot и Googlebot-Image никогда не увидят свои конкретные директивы, потому что они будут соблюдать & Quot; User-Agent: * & Quot; первый.

Не обращайте внимания на этот ответ. Я нашел информацию, указывающую на то, что это не так. Бот должен найти директиву, специфичную для него, и уважать ее

Лицензировано под: CC-BY-SA с атрибуция
Не связан с StackOverflow
scroll top