防止搜索机器人从rets服务器触发图像下载

题

我正在为客户建立一个房地产网站，从而从RETS服务器中获取所有数据。数据库中大约有5,000多个属性，因此我可以随时拉动每个属性的图像（以免超载我的服务器）。

一切都正常工作，但是我只有在用户查看某些属性时才提取图像。所以我的问题是：搜索机器人还会触发此图像下载吗？

如果是这样，我该如何防止它？

解决方案

取决于搜索机器人。如果您的图像全部来自一些已知且形成良好的URL，那么您可以告诉Bots不要通过向您的机器人添加禁忌行来击中它们。txt文件：

User-agent: *
Disallow: /images/

许可以下： CC-BY-SA 和归因