Динамичный robots.txt
https://stackoverflow.com/questions/43971
-
09-06-2019 - |
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
Допустим, у меня есть веб-сайт для размещения контента, созданного сообществом, который ориентирован на очень определенный набор пользователей.Теперь, допустим, в интересах развития лучшего сообщества у меня есть раздел вне темы, где участники сообщества могут публиковать или обсуждать все, что захотят, независимо от основной темы сайта.
Теперь, я хотеть большая часть контента должна быть проиндексирована Google.Заметным исключением является контент, не относящийся к теме.У каждого потока есть своя страница, но все потоки перечислены в одной папке, поэтому я не могу просто исключить поисковые системы из какой-то папки.Это должно быть постранично.Традиционный robots.txt Файл стал бы огромным, так как же еще я мог этого добиться?
Решение
Это будет работать для всех хорошо работающих поисковых систем, просто добавьте это в <head>:
<meta name="robots" content="noindex, nofollow" />
Другие советы
Если бы я использовал Apache, я бы использовал mod-rewrite для псевдонима robots.txt для скрипта, который мог бы динамически генерировать необходимый контент.
Редактировать:Если вы используете IIS, вы могли бы использовать ISAPIrewrite ( Переписать ) чтобы сделать то же самое.
Аналогично предложению @James Marshall - в ASP.NET вы могли бы использовать HttpHandler для перенаправления вызовов на robots.txt на скрипт, который сгенерировал контент.
Вы можете реализовать это, заменив robots.txt на динамический скрипт, генерирующий выходные данные.С Apache вы могли бы создать простое правило .htaccess для достижения этого.
RewriteRule ^robots\.txt$ /robots.php [NC,L]
Только для этой темы убедитесь, что ваш head содержит мета-тег noindex .Это еще один способ сказать поисковым системам, чтобы они не сканировали вашу страницу, кроме блокировки robots.txt
Просто имейте в виду, что robots.txt запрет НЕ помешает Google индексировать страницы, содержащие ссылки с внешних сайтов, все, что он делает, это предотвращает внутренний обход.Видишь http://www.webmasterworld.com/google/4490125.htm или http://www.stonetemple.com/articles/interview-matt-cutts .shtml.
Вы можете запретить поисковым системам читать или индексировать ваш контент, ограничив метатеги роботов.Таким образом, spider учтет ваши инструкции и проиндексирует только те страницы, которые вам нужны.
заблокируйте динамическую веб-страницу с помощью robots.txt используйте этот код
Пользователь-агент:*
Запретить:/установить новые предпочтения?
Запретить:/index.html ?
Запретить:/?
Разрешить:/?hl=
Запретить:/?hl=*&
