python urllib, como assistir mensagens?
Pergunta
Como posso assistir as mensagens sendo enviadas para trás e para sobre os pedidos urllib SHTTP? Se fosse simples http gostaria apenas de ver o tráfego tomada, mas é claro que não vai funcionar para https. Existe um sinalizador de depuração posso definir que vai fazer isso?
import urllib
params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
f = urllib.urlopen("https://example.com/cgi-bin/query", params)
Solução
Não, não há nenhum sinalizador de depuração para assistir a este.
Você pode usar seu depurador favorito. É a opção mais fácil. Basta adicionar um ponto de interrupção na função urlopen e está feito.
Outra opção seria escrever sua própria função de download:
def graburl(url, **params):
print "LOG: Going to %s with %r" % (url, params)
params = urllib.urlencode(params)
return urllib.urlopen(url, params)
E usá-lo como este:
f = graburl("https://example.com/cgi-bin/query", spam=1, eggs=2, bacon=0)
Outras dicas
Você sempre pode fazer um pouco de mokeypatching
import httplib
# override the HTTPS request class
class DebugHTTPS(httplib.HTTPS):
real_putheader = httplib.HTTPS.putheader
def putheader(self, *args, **kwargs):
print 'putheader(%s,%s)' % (args, kwargs)
result = self.real_putheader(self, *args, **kwargs)
return result
httplib.HTTPS = DebugHTTPS
# set a new default urlopener
import urllib
class DebugOpener(urllib.FancyURLopener):
def open(self, *args, **kwargs):
result = urllib.FancyURLopener.open(self, *args, **kwargs)
print 'response:'
print result.headers
return result
urllib._urlopener = DebugOpener()
params = urllib.urlencode({'spam': 1, 'eggs': 2, 'bacon': 0})
f = urllib.urlopen("https://www.google.com/", params)
dá a saída
putheader(('Content-Type', 'application/x-www-form-urlencoded'),{})
putheader(('Content-Length', '21'),{})
putheader(('Host', 'www.google.com'),{})
putheader(('User-Agent', 'Python-urllib/1.17'),{})
response:
Content-Type: text/html; charset=UTF-8
Content-Length: 1363
Date: Sun, 09 Aug 2009 12:49:59 GMT
Server: GFE/2.0
Licenciado em: CC-BY-SA com atribuição
Não afiliado a StackOverflow