منع روبوت البحث من تشغيل تنزيل الصورة من خادم Rets

Question

أقوم بإنشاء موقع ويب Realty لعميل حيث سأحصل على جميع بياناتي من خادم RETS. هناك ما يقرب من 5000 من الخصائص في DB ، لذا أقوم بسحب الصور لكل خاصية على الطيران (حتى لا تفرط في تحميل الخادم الخاص بي).

كل شيء يعمل بشكل صحيح ، لكنني أسحب الصور فقط عندما يقوم المستخدم بعرض خاصية معينة. لذا فإن سؤالي هو: هل سيؤدي روبوت البحث أيضًا إلى تنزيل الصورة ؟؟

إذا كان الأمر كذلك ، كيف يمكنني منع ذلك ؟؟

Answer 1

يعتمد على روبوت البحث. إذا تم تقديم جميع صورك من بعض عناوين URL المعروفة والموثوقة جيدًا ، فيمكنك إخبار الروبوتات بعدم ضربها عن طريق إضافة خط عدم السماح إلى ملف robots.txt الخاص بك:

User-agent: *
Disallow: /images/