検索ボットがRETSサーバーからの画像のダウンロードをトリガーするのを防ぐ

Question

クライアント向けの不動産ウェブサイトを構築しています。これにより、RETSサーバーからすべてのデータを取得します。 DBには約5,000以上のプロパティがあるため、その場で各プロパティの画像を引き出します（サーバーを過負荷にしないように）。

すべてが適切に機能していますが、ユーザーが特定のプロパティを表示した場合にのみ画像をプルします。だから私の質問は次のとおりです。検索ボットはこの画像のダウンロードもトリガーしますか？

もしそうなら、どうすればそれを防ぐことができますか？

Answer 1

検索ボットに依存します。画像がすべて既知のよく形成されたURLから提供されている場合、robots.txtファイルに禁止線を追加することでボットにヒットしないようにボットに伝えることができます。

User-agent: *
Disallow: /images/