Robots.txt alles zu verbieten und nur bestimmte Teile der Website / Seiten ermöglichen. Ist „erlauben“ unterstützt von Crawlern wie Ultraseek und FAST?

Question

Ich wollte nur wissen, ob es möglich ist, die gesamte Website für Crawler zu verbieten und nur bestimmte Webseiten oder Abschnitte erlauben? Ist „erlauben“ unterstützt von Crawlern wie FAST und Ultraseek?

Answer 1

Es gibt ein zulassen Richtlinie jedoch gibt es keine Garantie gibt, dass ein bestimmten Bot unterstützen sie (ähnlich wie es keine Garantie ein bot ist sogar überprüfen sie Ihre robots.txt zu beginnen). Sie könnten wahrscheinlich durch die Prüfung Ihres Weblogs sagen, ob bestimmte Bots nur die Teile Ihrer Website indexiert wurden, die es Ihnen ermöglichen.

Das Format erlaubt nur eine bestimmte Seite oder Abschnitt Ihrer Website aussehen könnte:

Allow: /public/section1/
Disallow: /

Dies (soll) verhindern Bots crawlen oder irgendetwas Indizierung mit Ausnahme Inhalt unter / public / section1