Prevenir robot de búsqueda de activación descarga de la imagen desde el servidor RETS

Question

Estoy construyendo un sitio web de bienes raíces para un cliente con lo que me va a obtener todos mis datos desde el servidor RETS. Hay aproximadamente 5.000 + propiedades en la base de datos por lo que me tire las imágenes para cada propiedad sobre la marcha (de no sobrecargar mi servidor).

Todo está funcionando correctamente, pero sólo tirar de las imágenes cuando un usuario visita la propiedad determinada. Así que mi pregunta es: un robot de búsqueda también desencadenar esta imagen descarga ??

Si es así, ¿cómo puedo evitar que ??

Answer 1

Depende del robot de búsqueda. Si las imágenes se sirven de algún URL conocido y bien formada, entonces se puede decir que los robots no los afectados por la adición de una línea de no permitir a su archivo robots.txt:

User-agent: *
Disallow: /images/