使用的robot.txt是可以限制为(特定的)查询字符串(参数)值机器人访问?

http://www.url.com/default.aspx  #allow
http://www.url.com/default.aspx?id=6  #allow
http://www.url.com/default.aspx?id=7  #disallow
有帮助吗?

解决方案

User-agent: *
Disallow: /default.aspx?id=7  # disallow
Disallow: /default.aspx?id=9  # disallow
Disallow: /default.aspx?id=33 # disallow

etc...

您只需要指定URL的那是不允许的。一切是默认允许。

其他提示

可以只查询变量定义如

不允许:/default.aspx?id = *

或更好是

不允许:?/ ID =

许可以下: CC-BY-SA归因
不隶属于 StackOverflow
scroll top