题
使用的robot.txt是可以限制为(特定的)查询字符串(参数)值机器人访问?
即
http://www.url.com/default.aspx #allow
http://www.url.com/default.aspx?id=6 #allow
http://www.url.com/default.aspx?id=7 #disallow
解决方案
User-agent: *
Disallow: /default.aspx?id=7 # disallow
Disallow: /default.aspx?id=9 # disallow
Disallow: /default.aspx?id=33 # disallow
etc...
您只需要指定URL的那是不允许的。一切是默认允许。
其他提示
可以只查询变量定义如
不允许:/default.aspx?id = *
或更好是
不允许:?/ ID = 的
不隶属于 StackOverflow