質問
urllib2を使用しているときに見落としているものを簡単にキャッシュする方法はありますか、それとも自分でロールバックする必要がありますか?
解決
次のようなデコレータ関数を使用できます。
class cache(object):
def __init__(self, fun):
self.fun = fun
self.cache = {}
def __call__(self, *args, **kwargs):
key = str(args) + str(kwargs)
try:
return self.cache[key]
except KeyError:
self.cache[key] = rval = self.fun(*args, **kwargs)
return rval
except TypeError: # incase key isn't a valid key - don't cache
return self.fun(*args, **kwargs)
次の行に沿って関数を定義します
@cache
def get_url_src(url):
return urllib.urlopen(url).read()
これは、HTTPキャッシュコントロールに注意を払っていないが、アプリケーションの期間中だけページをキャッシュすることを前提としています
他のヒント
やや低いレベルで作業してもかまわない場合は、httplib2( https://github.com/ httplib2 / httplib2 )は、キャッシュ機能を含む優れたHTTPライブラリです。
このActiveState Pythonレシピは役に立つかもしれません: http://code.activestate.com/recipes/491261/
HTTPキャッシュと認証を確実に処理するhttplib2と、stdlibにあり、拡張可能なインターフェイスを持ち、HTTPプロキシサーバーをサポートするurllib2を使用することの間で、いつも悩みました。
ActiveStateレシピは、非常にプリミティブな場合にのみ、urllib2にキャッシングサポートを追加し始めます。ファッション。ファイルシステムでバックアップされたストレージをハードコーディングして、ストレージメカニズムの拡張性を実現できません。また、HTTPキャッシュヘッダーを尊重しません。
httplib2キャッシングとurllib2拡張性の最高の機能を統合するために、httplib2にあるものと同じキャッシング機能のほとんどを実装するためにActiveStateレシピを適合させました。モジュールは jaraco.netとしてjaraco.netにあります。 .http.caching 。リンクは、この記事の執筆時点で存在するモジュールを指します。このモジュールは現在、より大きなjaraco.netパッケージの一部ですが、パッケージ内には依存関係がないため、モジュールを引き出して独自のプロジェクトで使用してください。
または、Python 2.6以降を使用している場合は、 easy_install jaraco.net> = 1.3
を実行し、 caching.quick_test()
のようなコードでCachingHandlerを利用できますcode>。
"""Quick test/example of CacheHandler"""
import logging
import urllib2
from httplib2 import FileCache
from jaraco.net.http.caching import CacheHandler
logging.basicConfig(level=logging.DEBUG)
store = FileCache(".cache")
opener = urllib2.build_opener(CacheHandler(store))
urllib2.install_opener(opener)
response = opener.open("http://www.google.com/")
print response.headers
print "Response:", response.read()[:100], '...\n'
response.reload(store)
print response.headers
print "After reload:", response.read()[:100], '...\n'
jaraco.util.http.cachingは、キャッシュのバッキングストアの仕様を提供するのではなく、httplib2で使用されるインターフェイスに従います。このため、httplib2.FileCacheはurllib2およびCacheHandlerで直接使用できます。また、httplib2用に設計された他のバッキングキャッシュは、CacheHandlerで使用できるはずです。
似たようなものを探していて、"レシピ491261:urllib2のキャッシングとスロットル&quot ; danivoが投稿しました。問題は、キャッシングコードが嫌いなことです(多くの重複、os.path.joinを使用する代わりに多くのファイルパスを手動で結合すること、staticmethods、非常にPEP8'sihを使用すること、その他避けようとしています)
コードは少しいいです(とにかく私の意見では)、機能的にはほとんど同じですが、いくつかの追加があります-主に「リキャッシュ」メソッド(使用例ここにあるように見える、またはコードの最後にある if __name__ ==" __ main __":
セクション)。
最新バージョンは、 http://github.com/にあります。 dbr / tvdb_api / blob / master / cache.py 、後世のためにここに貼り付けます(アプリケーション固有のヘッダーは削除されます):
#!/usr/bin/env python
"""
urllib2 caching handler
Modified from http://code.activestate.com/recipes/491261/ by dbr
"""
import os
import time
import httplib
import urllib2
import StringIO
from hashlib import md5
def calculate_cache_path(cache_location, url):
"""Checks if [cache_location]/[hash_of_url].headers and .body exist
"""
thumb = md5(url).hexdigest()
header = os.path.join(cache_location, thumb + ".headers")
body = os.path.join(cache_location, thumb + ".body")
return header, body
def check_cache_time(path, max_age):
"""Checks if a file has been created/modified in the [last max_age] seconds.
False means the file is too old (or doesn't exist), True means it is
up-to-date and valid"""
if not os.path.isfile(path):
return False
cache_modified_time = os.stat(path).st_mtime
time_now = time.time()
if cache_modified_time < time_now - max_age:
# Cache is old
return False
else:
return True
def exists_in_cache(cache_location, url, max_age):
"""Returns if header AND body cache file exist (and are up-to-date)"""
hpath, bpath = calculate_cache_path(cache_location, url)
if os.path.exists(hpath) and os.path.exists(bpath):
return(
check_cache_time(hpath, max_age)
and check_cache_time(bpath, max_age)
)
else:
# File does not exist
return False
def store_in_cache(cache_location, url, response):
"""Tries to store response in cache."""
hpath, bpath = calculate_cache_path(cache_location, url)
try:
outf = open(hpath, "w")
headers = str(response.info())
outf.write(headers)
outf.close()
outf = open(bpath, "w")
outf.write(response.read())
outf.close()
except IOError:
return True
else:
return False
class CacheHandler(urllib2.BaseHandler):
"""Stores responses in a persistant on-disk cache.
If a subsequent GET request is made for the same URL, the stored
response is returned, saving time, resources and bandwidth
"""
def __init__(self, cache_location, max_age = 21600):
"""The location of the cache directory"""
self.max_age = max_age
self.cache_location = cache_location
if not os.path.exists(self.cache_location):
os.mkdir(self.cache_location)
def default_open(self, request):
"""Handles GET requests, if the response is cached it returns it
"""
if request.get_method() is not "GET":
return None # let the next handler try to handle the request
if exists_in_cache(
self.cache_location, request.get_full_url(), self.max_age
):
return CachedResponse(
self.cache_location,
request.get_full_url(),
set_cache_header = True
)
else:
return None
def http_response(self, request, response):
"""Gets a HTTP response, if it was a GET request and the status code
starts with 2 (200 OK etc) it caches it and returns a CachedResponse
"""
if (request.get_method() == "GET"
and str(response.code).startswith("2")
):
if 'x-local-cache' not in response.info():
# Response is not cached
set_cache_header = store_in_cache(
self.cache_location,
request.get_full_url(),
response
)
else:
set_cache_header = True
#end if x-cache in response
return CachedResponse(
self.cache_location,
request.get_full_url(),
set_cache_header = set_cache_header
)
else:
return response
class CachedResponse(StringIO.StringIO):
"""An urllib2.response-like object for cached responses.
To determine if a response is cached or coming directly from
the network, check the x-local-cache header rather than the object type.
"""
def __init__(self, cache_location, url, set_cache_header=True):
self.cache_location = cache_location
hpath, bpath = calculate_cache_path(cache_location, url)
StringIO.StringIO.__init__(self, file(bpath).read())
self.url = url
self.code = 200
self.msg = "OK"
headerbuf = file(hpath).read()
if set_cache_header:
headerbuf += "x-local-cache: %s\r\n" % (bpath)
self.headers = httplib.HTTPMessage(StringIO.StringIO(headerbuf))
def info(self):
"""Returns headers
"""
return self.headers
def geturl(self):
"""Returns original URL
"""
return self.url
def recache(self):
new_request = urllib2.urlopen(self.url)
set_cache_header = store_in_cache(
self.cache_location,
new_request.url,
new_request
)
CachedResponse.__init__(self, self.cache_location, self.url, True)
if __name__ == "__main__":
def main():
"""Quick test/example of CacheHandler"""
opener = urllib2.build_opener(CacheHandler("/tmp/"))
response = opener.open("http://google.com")
print response.headers
print "Response:", response.read()
response.recache()
print response.headers
print "After recache:", response.read()
main()
Yahoo Developer Networkのこの記事- http://developer.yahoo.com/ python / python-caching.html -urllibを介して行われたhttp呼び出しをメモリまたはディスクにキャッシュする方法を説明します。
@dbr:https応答のキャッシュも追加する必要があります:
def https_response(self, request, response):
return self.http_response(request,response)