petición HEAD recibe “403 prohibido”, mientras que se obtiene “200 OK”?

Question

después de varios meses con el sitio de desaparecer de los resultados de búsqueda en todos los principales motores de búsqueda, finalmente encontré una razón posible.

He utilizado para investigar WebBug cabecera del servidor. Vea la diferencia si la solicitud es cabeza o GET.

datos del cabezal de Enviados:

HEAD / HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0

datos del cabezal recibida:

HTTP/1.1 403 Forbidden
Date: Tue, 10 Aug 2010 23:01:00 GMT
Server: Apache/2.2
Connection: close
Content-Type: text/html; charset=iso-8859-1

GET datos enviados:

GET / HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0

GET los datos recibidos:

HTTP/1.1 200 OK
Date: Tue, 10 Aug 2010 23:06:15 GMT
Server: Apache/2.2
Last-Modified: Fri, 08 Jan 2010 08:58:01 GMT
ETag: "671f91b-2d2-47ca362815840"
Accept-Ranges: bytes
Content-Length: 722
Connection: close
Content-Type: text/html

// HTML code here

Ahora, los navegadores por defecto envía una solicitud GET (al menos esto es lo que dice Firebug). ¿Es posible que los rastreadores envían una petición HEAD en su lugar? Si es así, ¿por qué sólo este servidor responde con un 403, mientras que otros servidores de otros sitios que estoy manteniendo qué no?

En caso de que sea importante, la única línea presente en .htaccess es (a menos que mi cliente lo cambió, ya que no quieren dar a mí el acceso a su servidor)

AddType text/x-component .htc

Actualizar
Gracias @Ryk. Quemador, y la violinista ambas peticiones GET de envío, las cuales obtienen 200 (o 300) las respuestas. Como se esperaba. Así que supongo que es ya sea un entorno mal servidor (aunque es extraño que el alojamiento es de una empresa importante, con millones de clientes) o algo que ponen en el .htaccess. Tendrán que me dejara en su cuenta.

La segunda parte de mi pregunta era si eso podría ser la causa de la página web que no aparece en cualquier motor de búsqueda ( site: www.attu.it no da ningún resultado). Cualquier pensamiento?

ACTUALIZACIÓN 2
Después de algún volverse locos, resulta que no era el .htaccess phpMyAdmin robots de bloqueo en el directorio raíz, que causó ninguna petición de robots para ser enviado de vuelta con un 403 Forbidden

Answer 1

Yo sugeriría instalar violinista y mirando cuidadosamente a petición. He visto a veces que un icono en la página que está en una carpeta que requiere autenticación provoca un 403 a devolver.

El violinista le dará una buena idea, y también se puede probar Firefox e instalar Firebug y la inspección de la página de errores.

Mirando el sitio me da un montón de 404 de la favicon.ico, pero aparte de eso cuando hago una petición GET sencilla consigo un 200 OK, pero cuando hago una cabeza, también consigo un 403. Buscando en ella ahora.

ACTUALIZACIÓN: yo creo que puede ser una configuración en el servidor Apache, pero no es 100% seguro. http://hc.apache.org/httpclient-3.x/ métodos / head.html

Update2: La lectura de este http : //www.pubbs.net/200811/httpd/17210-usershttpd-how-to-reject-head-request.html me hace creer que su servidor Apache podría ser configurado para rechazar las peticiones HEAD. En ese caso se devolverá un 403.

Answer 2

Algunos administrador escribe en el httpd.conf

                        Orden negar, permitir
                        Denegar de todos
                        Dejar de 10,0

                      Orden negar, permitir
                      Denegar de todos

Este producto "prohibido" a una petición HEAD. Usted debe verificar esto.

Answer 3

Tenía este problema exacto porque estaba usando URLs firmados.

Cada URLs firmados es bueno para sólo un método (por ejemplo, obtener, o cabeza). Si desea utilizar varios métodos, que tendrá que tener varias direcciones URL.