Предотвратить поиск бота от загрузки загрузки изображения с сервера RETS
Вопрос
Я строю веб-сайт Realty для клиента, посредством которого я получу все мои данные с сервера Rets. В БД примерно 5 000+ свойств, поэтому я вытягиваю изображения для каждого свойства на лету (как не перегружать мой сервер).
Все работает правильно, но я вытягиваю только изображения, когда пользователь рассматривает определенное свойство. Итак, мой вопрос: будет ли бот поиска также срабатывать это изображение ??
Если это так, как я могу помешать этому ??
Решение
Зависит от поиска бота. Если ваши изображения будут обслуживаться из некоторых известных и хорошо сформированных URL, то вы можете сказать ботам, чтобы не ударить их, добавив строку запрета на ваш файл Robots.txt:
User-agent: *
Disallow: /images/
Не связан с StackOverflow