A Solicitação de Chefe recebe “403 Proibida” enquanto recebe “200 OK”?

Question

Depois de vários meses que o site desaparece dos resultados de pesquisa em todos os principais mecanismos de pesquisa, finalmente descobri um possível motivo.

Eu usei o Webbug para investigar o cabeçalho do servidor. Veja a diferença se a solicitação for chefe ou obtiver.

Dados enviados pela cabeça:

HEAD / HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0

Dados recebidos como chefe:

HTTP/1.1 403 Forbidden
Date: Tue, 10 Aug 2010 23:01:00 GMT
Server: Apache/2.2
Connection: close
Content-Type: text/html; charset=iso-8859-1

Receber dados enviados:

GET / HTTP/1.1
Host: www.attu.it
Connection: close
Accept: */*
User-Agent: WebBug/5.0

Receber dados recebidos:

HTTP/1.1 200 OK
Date: Tue, 10 Aug 2010 23:06:15 GMT
Server: Apache/2.2
Last-Modified: Fri, 08 Jan 2010 08:58:01 GMT
ETag: "671f91b-2d2-47ca362815840"
Accept-Ranges: bytes
Content-Length: 722
Connection: close
Content-Type: text/html

// HTML code here

Agora, os navegadores, por padrão, enviam uma solicitação GET (pelo menos é isso que diz Firebug). É possível que os rastreadores enviem uma solicitação de cabeça? Em caso afirmativo, por que apenas esse servidor responde com um 403, enquanto outros servidores de outros sites que estou convencendo não?

Caso seja importante, a única linha presente no .htaccess é (a menos que meu cliente a mude, pois eles não querem me dar acesso ao servidor deles)

AddType text/x-component .htc

ATUALIZAR
Obrigado @ryk. Firebug e Fiddler enviam solicitações Get, que obtêm 200 (ou 300) respostas. Como esperado. Então, acho que é uma configuração ruim do servidor (mesmo que seja estranho, pois a hospedagem é de uma grande empresa com milhões de clientes) ou algo que eles colocam no .htaccess. Eles terão que me deixar olhar para a conta deles.

A segunda parte da minha pergunta foi se essa poderia ser a causa do site que não aparece em nenhum mecanismo de pesquisa (Site: www.attu.it não fornece resultados). Algum pensamento?

Atualização 2
Depois de algumas brincadeiras, aconteceu que houve o bloqueio de robôs phpmyadmin.

Answer 1

Eu sugeriria instalar o Fiddler e olhar atentamente a solicitação. Às vezes, vi que um ícone na página que está em uma pasta que requer autenticação faz com que um 403 seja devolvido.

O Fiddler lhe dará uma boa ideia, e você também pode experimentar o Firefox e instalar o Firebug Add-on e inspecionar a página quanto a erros.

Olhando para o site, recebo um monte de 404 para o favicon.ico, mas, além disso, quando faço uma solicitação simples, recebo 200 ok, mas quando faço uma cabeça, também recebo 403. Olhando para isso agora .

ATUALIZAÇÃO: Eu acho que pode ser uma configuração no servidor Apache, mas não 100% de certeza. http://hc.apache.org/httpclient-3.x/methods/head.html

Atualização2: lendo isso http://www.pubbs.net/200811/httpd/17210-usershttpd-how-to-reject-cabeça-request.html Me faz acreditar que seu servidor Apache pode ser definido para rejeitar solicitações de cabeça. Nesse caso, ele retornará um 403.

Answer 2

Alguns administradores escrevem no httpd.conf

u003CLimit PUT DELETE COPY MOVE>
Ordem negar, permitir
Negar de todos
Permitir a partir de 10.0
u003C/Limit>

u003CLimitExcept PUT DELETE COPY MOVE>
Ordem negar, permitir
Negar de todos
u003C/LimitExcept>

Isso produz "proibido" a um pedido de cabeça. Você deve verificar isso.

Answer 3

Eu tive esse problema exato porque estava usando URLs assinados.

Cada URLs assinado é bom para apenas um método (por exemplo, obtenha ou cabeça). Se você deseja usar vários métodos, precisará ter vários URLs.