El robot de Google sustituye a los enlaces de aplicación Rails con subdominio

Question

Tengo esta aplicación Rails, con el nombre de dominio abc.com. También estoy teniendo un subdominio por separado para las estadísticas de Piwik, en este stats.abc.com subdominio.

El robot de Google de alguna manera enumeró algunos de los vínculos con mi subdominio también.

http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup

Los que tienen stats hará referencia a la misma página en la aplicación, pero son tratados completamente diferente sitio web.

He puesto en robots.txt en stats después de este asunto, pero se pregunta si hay alguna manera apropiada para bloquear esto porque es posible que tenga nuevos subdominios en el futuro. Aquí está mi contenido en robots.txt

User-agent: *
Disallow: /

Gracias.

Answer 1

Robots.txt lo bloqueará bien. Es sólo importante recordar Antes de publicar un sitio - Google es bastante rápido. Algunos motores de búsqueda ignoran robots.txt. Lo mejor que puedes hacer es no tener subdominios que en realidad no se ajustan a la situación. Recomiendo leer el verdadero propósito de subdominios. Usted no debe estar sirviendo al mismo sitio en diferentes dominios. Debe utilizar un 301 directa o tienen diferentes contenidos en diferentes dominios (sub) ... A no ser que stats.abc.com contiene material diferente, no debe ser un subdominio. Lo que haga exactamente lo que necesita tantos subdominios para?

podría detectar el agente de usuario, y si se trata de un robot, devolver un 404 también