robots.txt를 무시하는 Googlebots? [닫은

Question

루트에 다음 robots.txt가있는 사이트가 있습니다.

User-agent: *
Disabled: /

User-agent: Googlebot 
Disabled: /

User-agent: Googlebot-Image
Disallow: /

이 사이트의 페이지는 하루 종일 GoogleBots에 의해 스캔됩니다. 내 파일이나 Google에 문제가 있습니까?

Answer 1

그것은해야한다 Disallow:, 아니다 Disabled:.

Answer 2

어쩌면 줄 수도 있습니다 Google robots.txt Checker 시도

Answer 3

Google에는 robots.txt entries를 확인하기위한 분석 도구가 있습니다. 여기에 대해 읽으십시오

"Rogue"로봇의 IP 주소를 확인하여 Google이 실제로 소유하고 있는지 확인할 수도 있습니다.

Answer 4

또한 봇이 페이지를 내려 가서 적용되는 첫 번째 지침을 취한다고 생각합니다. 귀하의 경우 GoogleBot과 GoogleBot-Image는 "사용자 에이전트 : *먼저"를 존중하기 때문에 특정 지침을 보지 못할 것입니다.

이 답변을 무시하십시오. 나는 이것이 사실이 아닌 것을 가리키는 정보를 발견했습니다. 봇은 지침을 찾아서 존중해야합니다.