关于拍摄URL WRT缓存和重定向的Python客户端应该做些什么?
-
28-10-2019 - |
题
我正在使用httplib在python 2.7.2中编写一个客户端从Web获取URL:
def connectHttp(url, sub_url)
conn = httplib.HTTPConnection(url)
try:
conn.request("GET", "/" + sub_url)
except Exception as ex:
conn.close()
logMessage('Connection problems:')
logMessage(str(ex))
logMessage('Exception message:')
logMessage(ex.message)
logMessage('-------')
return (503, "")
response = conn.getresponse()
status = response.status
data = response.read()
conn.close()
return (status, data)
.
我的问题是我不知道如何处理重定向,我甚至不确定httplib是否有选择。另一件事是有一种简单的方法来防止在服务器上缓存(更正:代理)(对于EX,通过添加随机数据的虚拟查询字符串)
非常感谢...
解决方案
httplib2 处理重定向。缓存控制是一个更大的话题。第一个问题是,尝试强制非缓存页面而不是将其留给服务器是否是一个好主意-如果作者包括缓存,我将首先假设它们这样做是有原因的。
不隶属于 StackOverflow