forma correcta de añadir robots.txt y esconderlo?

Question

Tengo una carpeta secreta en mi alojamiento, que no puede ser visto por los visitantes. He añadido un robots.txt a htdocs:

User-agent: *
Disallow: /super-private/

Sin embargo, si un visitante va a http://example.com/robots.txt , él puede ver el nombre de la carpeta privada. ¿Hay algo que puede hacer? Htaccess tal vez?

Answer 1

robots.txt no es la solución aquí. Todo lo que hace es lo que dicen como arañas de los motores de búsqueda que una URL concreta no debe ser indexada; no impide el acceso.

Ponga un archivo .htaccess en super-private que contiene lo siguiente:

Deny From All

Una vez que haya hecho esto, no hay necesidad de robots.txt, ya que será de todos modos inaccesible. Si desea permitir el acceso a ciertas personas, entonces mirar en de autenticación con .htaccess .

Answer 2

No mencione esta carpeta privada en robots.txt. Después, simplemente no permitir el acceso a la misma con .htaccess:

deny from all

Además, si no hay enlaces a esta carpeta super-private en las otras páginas robots debe nunca se sabe si su existencia, pero no permitir el acceso es una buena cosa que hacer si esta carpeta no debe accederse directamente de los clientes.