robots.txt и seo-рейтинг

Question

есть ли какой-то смысл в том, чтобы иметь a robots.txt только с одной строкой контента, как показано ниже

Пользовательский агент:*

по сравнению с тем , что у вас его вообще нет ?

Answer 1

Нет, Google (и давайте не будем ходить вокруг да около, Google - это поисковая система, о которой вы должны заботиться) по умолчанию будет сканировать все, если вы не скажете ему этого не делать.

Если вы хотите помочь Google, воспользуйтесь инструментами Google для веб-мастеров и отправьте карту сайта в правильном формате

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156184

Answer 2

НЕТ;в этом нет никакого смысла.