Empêcher robot de recherche de déclencher le téléchargement de l'image du serveur RETS

Question

Je suis la construction d'un site immobilier pour un client dans lequel je vais avoir toutes mes données à partir du serveur RETS. Il y a environ 5000 + propriétés dans la DB, donc je tire les images pour chaque propriété à la volée (pour ne pas surcharger mon serveur).

Tout fonctionne correctement, mais je ne tire les images lorsqu'un utilisateur affiche la propriété certains. Donc, ma question est: un robot de recherche déclenche également cette image télécharger ??

Si oui, comment puis-je empêcher que ??

Answer 1

Dépend du robot de recherche. Si vos images sont servis d'une certaine URL connue et bien formé, alors vous pouvez dire les robots collecteurs de ne pas les frapper en ajoutant une ligne de disallow à votre fichier robots.txt:

User-agent: *
Disallow: /images/