Googlebots robots.txtを無視しますか? [閉まっている]
-
19-08-2019 - |
質問
ルートに次のrobots.txtがあるサイトがあります:
User-agent: *
Disabled: /
User-agent: Googlebot
Disabled: /
User-agent: Googlebot-Image
Disallow: /
このサイト内のページは、1日中Googlebotによってスキャンされています。ファイルまたはGoogleに何か問題がありますか?
解決
Disallow:
ではなくDisabled:
である必要があります。
他のヒント
Googleには、robots.txtエントリをチェックするための分析ツールこちらで読む
<!> quot; rogue <!> quot;のIPアドレスを確認することもできます。ロボットが実際にGoogleによって所有されているかどうかを確認します。
また、ボットはページを下って行き、それに適用される最初のディレクティブを取得すると考えています。あなたの場合、GooglebotとGooglebot-Imageは、<!> quot; User-Agent:* <!> quot;最初。
この回答は無視してください。これが事実ではないことを示す情報を見つけました。ボットはそれ固有のディレクティブを見つけて尊重する必要があります
所属していません StackOverflow