があるのだがgooglebot/bingbot/yahoobotはハマイasp.net 2005年IIS6?

Question

知りたい場合、googleはクロールのサイトは、好ましくは送信自分のメール.

がいこな悪影響を与える実績を教えてください。

Answer 1

のユーザエージェントを識別してgsa-クローラー/GooglebotによればGoogleは部品単体ではなく、電気-電します。き書き込むコードRequest.ServerVariables("HTTP_USER_AGENT") る腕時計用又は分析IISログ-ファイルです。

いるか確認し、ボットがGoogleのにするには 何かを見.

私のウェブアプリのルートが必要な場合はメールで送信されASAPのファイルのルートを分析できれば少し長くなります。

Answer 2

あなたのIISのログファイルスパイダーがサイトをクロールしているとき（有珠山。c:\windows\system32\logfilesに...）は、あなたが表示されます。ちょうどあなたがログを有効にしていると、ブラウザ/ユーザーエージェントをログに記録することを確認してください。ブラウザエージェントは、他のものの間で含まれている文字列、ページを要求したものは何でも、Webブラウザ/ボット/の名前です。ほとんどのエントリは、（例えば、Googlebotは文字列「のGooglebot」が含まれている）目視検査で明らかにされています。

前の回答者が示唆したように、

あなたが通知されるようにしたい場合は、私はすべての15または20分を実行するタスクを持っているだろう、パターンマッチであなたのログの最後のスキャン以降のエントリ、および電子メールあなたのをスキャン。