题
想知道以下将robots.txt中的谷歌工作
不允许:/ *动作
我需要排除与.action结尾的所有URL。
这是正确的吗?
解决方案
要阻止特定文件类型的文件(例如.gif),使用下面的:
User-agent: Googlebot
Disallow: /*.gif$
所以,你靠近。使用禁止:/*.action$与尾随 “$”
当然,这仅仅是谷歌建议: HTTP ://www.google.com/support/webmasters/bin/answer.py HL = EN&答案= 156449个
所有机器人是不同的。
其他提示
在的robots.txt规范没有提供方法包括通配符,仅URI的开始。
谷歌实施非标准扩展,在其描述文档(看在手动创建下一个robots.txt文件部“为了阻止特定文件类型的文件”)。
我不认为它会工作,你需要的所有.action文件移动到一个位置,然后您可以禁止
不隶属于 StackOverflow