robots.txt组态

Question

我对此机器人文件几个疑惑。

User-agent: *
Disallow: /administrator/
Disallow: /css/
Disallow: /func/
Disallow: /images/
Disallow: /inc/
Disallow: /js/
Disallow: /login/
Disallow: /recover/
Disallow: /Scripts/
Disallow: /store/com-handler/
Disallow: /store/img/
Disallow: /store/theme/
Disallow: /store/StoreSys.swf
Disallow: config.php

这是要禁止爬虫为每个文件夹右侧的所有文件？ 或我必须在每个文件夹名的末尾添加一个星号？

我想这应该这样做。但我不知道是否要加Allow: / User-agent之后我想是不需要的。

任何问题在此机器人文件？

PS：如果有人能提出供本地使用验证的应用程序，我会很高兴。

感谢。

Answer 1

这是罚款，如果我知道你想要什么。 E.g。

/administrator/
/css/subpage

都受阻，但

/foo 

是允许的。请注意，让一个不太支持扩展只旨在对抗以前不允许。如果你可以使用它，例如，尽管你

Disallow: /images/

您决定要允许特定的图像。所以，

Allow: /images/ok_image

所有其他图像保持阻塞。你可以看到 http://www.searchtools.com/robots/robots-txt.html 的更多信息，包括检查器的列表。