Как сказать поисковым системам не индексировать контент через вторичные доменные имена?

Question

У меня есть веб -сайт в A.com (например). У меня также есть пара других доменных имен, которые я ни для чего не использую: b.com и c.com. В настоящее время они вперед в A.com. Я заметил, что Google индексирует контент с моего сайта, используя b.com/stuff и c.com/stuff, а не только A.com/stuff. Как правильный способ сказать Google индексировать только контент через A.com, а не b.com и c.com?

Похоже, что на 301 перенаправление через HTACCESS - лучшее решение, но я не уверен, как это сделать. Существует только один файл HTACCESS (каждый домен не имеет своего собственного htaccess файла).

B.com и C.com не предназначены для псевдонимов a.com, они просто другие доменные имена, которые я бронирую на возможные будущие проекты.

Answer 1

Вы можете просто создать перенаправление с .htaccess Файл как это:

RewriteEngine on
RewriteCond %{HTTP_HOST} \.b\.com$ [OR]
RewriteCond %{HTTP_HOST} \.c\.com$
RewriteRule ^(.*)$ http://a.com/$1 [R=301,L]

Answer 2

Robots.txt. это способ рассказать паукам, что ползать и что не ползти. Если вы поместите следующее в корне вашего сайта по адресу /robots.txt:

User-agent: *
Disallow: /

Совершенно поведение паук не будет искать никакой части вашего сайта. У большинства больших сайтов есть Robots.txt, как Google

User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /news
#and so on ...

Answer 3

Это почти значительно зависит от того, что вы хотите достичь. 301 скажет, что содержание перемещается навсегда (и это правильный способ передачи PR), это то, что вы хотите достичь?

Вы хотите, чтобы Google вел себя? Чем вы можете использовать robots.txt, но имейте в виду, что есть недостаток: этот файл читабелен снаружи и каждый раз расположен в одном месте, так что вы в основном раздаете местоположение каталогов и файлов, которые вы можете защитить. Так что используйте robots.txt, только если не стоит защитить.

Если есть что -то, что стоит защитить, то вы должны защитить пароль, это будет правильным способом. Google не будет индексировать защищенные паролем каталоги.

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=93708

Для последнего метода это зависит, если вы хотите использовать файл httpd.conf или .htaccess. Лучший способ использовать httpd.conf, даже если .htaccess кажется проще.

http://httpd.apache.org/docs/2.0/howto/auth.html.

Answer 4

Попросите кода на стороне сервера генерировать каноническую ссылку, которая указывает на страницу, которая считается «источником». Пример =

Справка:http://googlewebmastercentral.blogspot.com/2009/02/specify-your-canonical.html- Обновление: эта ссылка-тег в настоящее время также поддерживается Ask.com, Microsoft Live Search и Yahoo!.