Robots.txt para bloquear todo y permitir que sólo las partes específicas del sitio / páginas. Es “permitir” apoyado por los rastreadores como Ultraseek y FAST?

Question

Sólo quería saber si es posible para no permitir todo el sitio por los rastreadores y permitir que sólo las páginas web o secciones específicas? Es "Permitir" apoyado por los rastreadores como FAST y Ultraseek?

Answer 1

Hay un href="http://en.wikipedia.org/wiki/Robots.txt#Allow_directive" Permitir Directiva sin embargo no hay garantía de que un bot voluntad particular apoyarlo (al igual que no hay garantía de un bot incluso comprobar el archivo robots.txt para empezar). Probablemente se podría decir por el examen de sus weblogs o no específicos robots de indexación de sólo las partes de su sitio web que permiten.

El formato para permitir sólo una página o sección de su sitio web en particular podría ser:

Allow: /public/section1/
Disallow: /

Este (debe) evitar que los robots de rastreo o la indexación de nada, excepto su contenido bajo / public / section1