複数の404要求を当社のサイトです。で攻撃や間違った割り出しロボットは？

Question

当サイトは受けているようにアクセス存在します。通常のみの場合のスペルアドレスです。のように右側のリンクを/情報/サイトマップ.aspxの悪い要求が/Inf/サイトマップ.aspx欠損'o'.も多くの要求は、20行します。すべての投げ404.

での問題の割り出しロボットは？は誰かの試験の差ています。

しての経験やヒント?

Answer 1

ありが考えは以下の様なものが挙げられます

1. のIPアドレス、ホスト送信を要求すが、異なるもIPsできまsuspectとして分散の攻撃を使って行われゾンビ.

2. .場合には要求からソースをチェック間の遅延ます。一般的にクローラ使用しない非常に短い期間を承りますのでご相談ください。

3. 割り出しロボット(クローラー)を実施しない"力"の索引をすぐに取得するのからのリンクページおよび再帰的にトラバースページによります。その理由のためになくてはなりませんで割り出しロボットが行います。

4. 確認。う一連のネーミングパターンなど。

EX:/Inf/サイトマップ.aspx,/Infa/サイトマップ.aspx,/Infb/サイトマップ.aspx