Question
est-il un point en ayant un robots.txt avec une seule ligne de contenu comme ci-dessous
User-agent: *
par rapport à ne pas l'avoir du tout?
La solution
Non, Google (et il ne faut pas tourner autour du pot, Google est le moteur de recherche vous devriez se soucier) par défaut ramper tout sauf si vous lui dites pas.
Si vous voulez aider Google, utiliser des outils Google pour les webmasters et soumettre un plan du site dans le format correct
http://www.google.com /support/webmasters/bin/answer.py?hl=en&answer=156184
Autres conseils
Non; il est inutile de le faire.
Licencié sous: CC-BY-SA avec attribution
Non affilié à StackOverflow