Robots.txt para proibir tudo e permitir apenas partes específicas do site / páginas. É “permitir” apoiado por crawlers como Ultraseek e fácil?

Question

Apenas queria saber se é possível impedir todo o site para rastreadores e permite apenas páginas ou seções específicas? É "permitir" apoiado por crawlers como fast e Ultraseek?

Answer 1

Há um Permitir Directiva no entanto não há nenhuma garantia de que uma vontade bot específico apoiá-lo (bem como não há garantia de um bot vai mesmo verificar o seu robots.txt para começar). Você provavelmente poderia dizer, examinando seus weblogs ou não bots específicos foram indexar apenas as partes do seu site que você permite.

O formato para permitir que apenas uma página ou seção de seu site específico pode parecer:

Allow: /public/section1/
Disallow: /

Este (deve) evitar bots de rastejar ou indexação qualquer coisa, exceto para o conteúdo sob / public / section1