Die korrekte Art und Weise robots.txt hinzuzufügen und es zu verbergen?

Question

Ich habe einen geheimen Ordner auf meinem Hosting, die von den Besuchern nicht zu sehen. Ich habe eine robots.txt zu htdocs hinzugefügt:

User-agent: *
Disallow: /super-private/

Allerdings, wenn ein Besucher geht an http://example.com/robots.txt , er sehen Sie den Namen des privaten Ordner können. Gibt es etwas zu tun? .Htaccess vielleicht?

Answer 1

robots.txt ist nicht die Lösung. Denn es macht nicht sagen, ist, Dinge wie Suchmaschinen, dass eine bestimmte URL nicht indiziert werden sollen; es bietet keinen Zugriff verhindern.

Setzen Sie eine .htaccess Datei in super-private mit folgendem Inhalt:

Deny From All

Sobald Sie dies getan haben, gibt es keine Notwendigkeit für robots.txt, da sie unzugänglich ohnehin sein werden. Wenn Sie den Zugriff auf bestimmte Personen zulassen wollen, dann schauen Sie in Authentifizierung mit .htaccess .

Answer 2

Do diesen privaten Ordner in robots.txt nicht erwähnen. Dann einfach nicht zulassen, den Zugang zu ihm mit .htaccess:

deny from all

Auch wenn es keine Links zu diesen super-private Ordnern in den anderen Seiten sind, sollen Roboter nie wissen, ob seine Existenz, sondern den Zugang disallowing ist eine gute Sache zu tun, wenn dieser Ordner soll nie direkt von Clients zugegriffen werden.