GoogleBot ersetzt die Links der Rails -App durch Subdomain

Question

Ich habe diese Rails -App mit Domain -Namen abc.com. Ich habe auch eine separate Subdomain für Piwik -Statistiken in dieser Subdomain stats.abc.com.

GoogleBot hat auch einige Links mit meiner Subdomain aufgelistet.

http://abc.com/login
http://stats.abc.com/login
http://abc.com/signup
http://stats.abc.com/signup

Die mit stats Bezieht sich auf dieselbe Seite in der App, wird jedoch völlig unterschiedliche Website behandelt.

Ich habe eingesetzt robots.txt in stats Nach dieser Angelegenheit, aber ich frage mich, ob es eine angemessene Möglichkeit gibt, dies zu blockieren, da ich in Zukunft möglicherweise neue Subdomains habe. Hier ist mein Inhalt in robots.txt

User-agent: *
Disallow: /

Vielen Dank.

Answer 1

Robots.txt blockiert es gut. Es ist einfach wichtig, sich zu merken, bevor Sie eine Website veröffentlichen - Google ist ziemlich schnell. Einige Suchmaschinen ignorieren Robots.txt. Das Beste, was Sie tun können, ist, keine Subdomains zu haben, die nicht wirklich zu Ihrer Situation passen. Ich empfehle, den wahren Zweck von Subdomains zu lesen. Sie sollten nicht die gleiche Site auf verschiedenen Domänen bedienen. Sie sollten einen 301 direkten oder unterschiedlichen Inhalt in verschiedenen (Sub-) Domänen haben ... es sei denn, stats.abc.com enthält unterschiedliches Material, es sollte keine Subdomain sein. Wofür brauchen Sie so viele Subdomains?

Du könnte Erkennen Sie den Benutzer-Agent, und wenn es sich um einen Bot handelt, geben Sie auch eine 404 zurück