Googlebots robots.txtを無視しますか？ [閉まっている]

Question

ルートに次のrobots.txtがあるサイトがあります：

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

このサイト内のページは、1日中Googlebotによってスキャンされています。ファイルまたはGoogleに何か問題がありますか？

Answer 1

Disallow:ではなくDisabled:である必要があります。

Answer 2

Google robots.txtチェッカー試してみる

Answer 3

Googleには、robots.txtエントリをチェックするための分析ツールこちらで読む

<！> quot; rogue <！> quot;のIPアドレスを確認することもできます。ロボットが実際にGoogleによって所有されているかどうかを確認します。

Answer 4

また、ボットはページを下って行き、それに適用される最初のディレクティブを取得すると考えています。あなたの場合、GooglebotとGooglebot-Imageは、<！> quot; User-Agent：* <！> quot;最初。

この回答は無視してください。これが事実ではないことを示す情報を見つけました。ボットはそれ固有のディレクティブを見つけて尊重する必要があります