如何在Python 2中发送HEAD HTTP请求？

Question

我在这里要做的是获取给定URL的标题，以便我可以确定MIME类型。我希望能够看到 http：// somedomain / foo / 是否会返回HTML文档或JPEG图像。因此，我需要弄清楚如何发送HEAD请求，以便我可以读取MIME类型而无需下载内容。有谁知道一个简单的方法吗？

Answer 1

编辑：这个答案有效，但现在你应该只使用请求库，如下面的其他答案所述。

---

使用 httplib 。

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

还有 getheader（name）来获取特定的标题。

Answer 2

urllib2 可用于执行HEAD请求。这比使用httplib好一些，因为urllib2为您解析URL，而不是要求您将URL拆分为主机名和路径。

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

标题可以像之前一样通过response.info（）获得。有趣的是，您可以找到重定向到的URL：

>>> print response.geturl()
http://www.google.com.au/index.html

Answer 3

强制性的 Requests 方式：

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

Answer 4

我相信也应该提及请求库。

Answer 5

只需：

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

编辑：我刚刚意识到有httplib2：D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

链接文字

Answer 6

为了完整性，使用 httplib 获得与接受的答案等效的Python3答案。

基本上相同的代码只是库不再被称为 httplib ，而是 http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

Answer 7

import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

Answer 8

另外，当使用httplib时（至少在2.5.2上），尝试读取HEAD请求的响应将阻塞（在readline上）并随后失败。如果您没有对响应发出读取，则无法在连接上发送另一个请求，您将需要打开一个新请求。或接受请求之间的长时间延迟。

Answer 9

我发现httplib比urllib2略快。我计时两个程序 - 一个使用httplib而另一个使用urllib2 - 将HEAD请求发送到10,000个URL。 httplib的速度提高了几分钟。 httplib 的总统计数据是：真正的6m21.334s                                                                     用户0m2.124s                                                                     sys 0m16.372s

urllib2 的总统计数据是：真正的9分1.380秒                                                                     用户0m16.666s                                                                     sys 0m28.565s

是否有其他人对此有意见？

Answer 10

另一种方法（类似于Pawel的回答）：

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

只是为了避免在实例级别使用无限制的方法。

Answer 11

可能更容易：使用urllib或urllib2。

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info（）是一个类似字典的对象，所以你可以做f.info（）['content-type']等。

http://docs.python.org/library/urllib.html 点击 http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

文档指出，httplib通常不会直接使用。