запретить Google индексировать

Question

Привет, сэр, как лучше всего запретить Google показывать папку в поисковой системе? Например, www.example.com/support. Что мне делать, если я хочу, чтобы папка поддержки исчезла в Google?первое, что я сделал, это поместил файл robots.txt и включил этот код

User-agent: *
Disallow: /support/etc

Но результаты являются полной катастрофой, я больше не могу использовать страницу поддержки, если я не удаляю robots.txt Что лучше всего сделать?

Answer 1

robots.txt не должен влиять на работу вашей страницы.Если у вас есть сомнения, вы можете использовать инструменты для создания подобных http://www.searchenginepromotionhelp.com/m/robots-text-creator/simple-robots-creator.php или http://www.seochat.com/seo-tools/robots-generator/

При запрете в файле robots вы можете явно указать файл или подпапку, а не просто папку.

Вы также можете использовать метатег в своем документе, чтобы запретить сканеру использовать его.

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Answer 2

как лучше всего запретить Google показывать папку в поисковой системе?

А robots.txt file — правильный способ сделать это.Ваш пример верен для блокировки /support/etc каталог и его потомки.

я больше не смогу использовать страницу поддержки, пока не удалю robots.txt

Не имеет смысла, что файл robots.txt будет влиять на работу вашего сайта, и, конечно же, он никогда не должен влиять на то, какие страницы могут быть доступны человеку.Я подозреваю, что что-то не так — проверьте журналы вашего сервера, чтобы узнать, какие ошибки записываются.

Answer 3

Хотя это и не является предпочтительным методом ограничения доступа роботов, Google говорит об использовании метатега noindex. здесь.Это также предотвратит отображение различных страниц, если на них есть ссылки с другого сайта, кроме вашего.

Хорошее обсуждение ограничения посещения ботами вашего сайта можно найти здесь. здесь.