Existe uma maneira fácil de solicitar um URL em python e não seguir redirecionamentos?
Pergunta
Olhando para o fonte de urllib2 parece que a maneira mais fácil de fazer isso seria a subclasse HTTPRedirectHandler e depois usar build_opener para substituir o padrão HTTPRedirectHandler, mas este parece ser um monte de (relativamente complicado) trabalho para fazer o que parece ser que deve ser bastante simples.
Solução
Aqui está a maneira pedidos :
import requests
r = requests.get('http://github.com', allow_redirects=False)
print(r.status_code, r.headers['Location'])
Outras dicas
Dive Into Python tem um bom capítulo sobre manuseio de redirecionamentos com urllib2. Outra solução é httplib .
>>> import httplib
>>> conn = httplib.HTTPConnection("www.bogosoft.com")
>>> conn.request("GET", "")
>>> r1 = conn.getresponse()
>>> print r1.status, r1.reason
301 Moved Permanently
>>> print r1.getheader('Location')
http://www.bogosoft.com/new/location
Este é um manipulador urllib2 que não seguirá redirecionamentos:
class NoRedirectHandler(urllib2.HTTPRedirectHandler):
def http_error_302(self, req, fp, code, msg, headers):
infourl = urllib.addinfourl(fp, headers, req.get_full_url())
infourl.status = code
infourl.code = code
return infourl
http_error_300 = http_error_302
http_error_301 = http_error_302
http_error_303 = http_error_302
http_error_307 = http_error_302
opener = urllib2.build_opener(NoRedirectHandler())
urllib2.install_opener(opener)
Suponho que isto iria ajudar
from httplib2 import Http
def get_html(uri,num_redirections=0): # put it as 0 for not to follow redirects
conn = Http()
return conn.request(uri,redirections=num_redirections)
A palavra-chave redirections
no método de solicitação httplib2
é um arenque vermelho. Ao invés de voltar a primeira solicitação que irá levantar uma exceção RedirectLimit
se receber um código de status de redirecionamento. Para retornar a resposta inital você precisa definir follow_redirects
para False
no objeto Http
:
import httplib2
h = httplib2.Http()
h.follow_redirects = False
(response, body) = h.request("http://example.com")
Eu ponteiro segundo OLT para Dive into Python . Aqui está uma implementação usando manipuladores de redirecionamento urllib2, mais trabalho do que deveria ser? Talvez, encolhendo os ombros.
import sys
import urllib2
class RedirectHandler(urllib2.HTTPRedirectHandler):
def http_error_301(self, req, fp, code, msg, headers):
result = urllib2.HTTPRedirectHandler.http_error_301(
self, req, fp, code, msg, headers)
result.status = code
raise Exception("Permanent Redirect: %s" % 301)
def http_error_302(self, req, fp, code, msg, headers):
result = urllib2.HTTPRedirectHandler.http_error_302(
self, req, fp, code, msg, headers)
result.status = code
raise Exception("Temporary Redirect: %s" % 302)
def main(script_name, url):
opener = urllib2.build_opener(RedirectHandler)
urllib2.install_opener(opener)
print urllib2.urlopen(url).read()
if __name__ == "__main__":
main(*sys.argv)
O caminho mais curto, porém, é
class NoRedirect(urllib2.HTTPRedirectHandler):
def redirect_request(self, req, fp, code, msg, hdrs, newurl):
pass
noredir_opener = urllib2.build_opener(NoRedirect())