题
我正在为客户建立一个房地产网站,从而从RETS服务器中获取所有数据。数据库中大约有5,000多个属性,因此我可以随时拉动每个属性的图像(以免超载我的服务器)。
一切都正常工作,但是我只有在用户查看某些属性时才提取图像。所以我的问题是:搜索机器人还会触发此图像下载吗?
如果是这样,我该如何防止它?
解决方案
取决于搜索机器人。如果您的图像全部来自一些已知且形成良好的URL,那么您可以告诉Bots不要通过向您的机器人添加禁忌行来击中它们。txt文件:
User-agent: *
Disallow: /images/
不隶属于 StackOverflow