GoogleBotが私のサイトをrawっていて、私の評価システムで評価を入力しています
-
09-10-2019 - |
質問
私の評価システムでは、匿名のユーザーが評価を追加することができますが、GoogleのCrawlerは評価を評価しています。
GoogleBotがリンクをたどらないようにするにはどうすればよいですか?
解決
データを変更するアクション(投票、投稿の編集など)のGETリクエストを受け入れるべきではありません。投票は、GoogleBotが実行しないPOSTリクエストを介して行う必要があります。
詳細については、投稿: いつ投稿し、いつGetを使用しますか?
他のヒント
robots.txtを使用して、ボットが従わないリンクを指摘します。たとえば、以下を入れてください http://example.com/robots.txt
User-Agent: *
Disallow: /vote.php
robots.txtの詳細については、こちらをご覧ください。http://www.robotstxt.org/
Googleおよび他のすべての行儀ボットは、robots.txtの指示を読み、フォローします。
これらの方向に従わないボットにも問題がある場合は、ボットをブロックするためにロジックをコーディングするか、少なくともその影響を減らす必要があります。たとえば、特定の時間枠でIPアドレスから得た投票数を記録し、そのレベルを超える投票をブロックすることができます。別の解決策は、投稿のみを許可すること、およびスパムボットをブロックするためにJSロジック(または類似)をいくつか用意することですが、それはRobots.txtよりもはるかに多くの作業であるため、問題になった場合にのみ時間をかけます。
また、WebサーバーでIPをブロックすることで、不良ボットを完全にブロックすることもできます。ブロックソリューションを希望する場合は、試してみることができる不良ボットのリストがいくつかあります。