Python urlretrieve limite di velocità e Riprendi parziale Scarica
-
13-10-2019 - |
Domanda
Sto usando il codice questa discussione per limitare il mio download Vota.
Come faccio a incorporare i download parziali di riprendere con il fattore limitante codice? Gli esempi che ho trovato l'uso urlopen
invece di urlretrieve
, e la classe RateLimit
dipende urlretrieve
.
Mi piacerebbe avere una funzione esterna che i controlli il download parziale, senza dover cambiare la classe RateLimit
:
from throttle import TokenBucket, RateLimit
def retrieve_limit_rate(url, filename, rate_limit):
"""Fetch the contents of urls"""
bucket = TokenBucket(10*rate_limit, rate_limit)
print "rate limit = %.1f kB/s" % (rate_limit,)
print 'Downloading %s...' % filename
rate_limiter = RateLimit(bucket, filename)
#
# What do I put here to allow resuming files?
#
return urllib.urlretrieve(url, filename, rate_limiter)
Soluzione
May be able to use PyCurl instead:
def curl_progress(total, existing, upload_t, upload_d):
try:
frac = float(existing)/float(total)
except:
frac = 0
print "Downloaded %d/%d (%0.2f%%)" % (existing, total, frac)
def curl_limit_rate(url, filename, rate_limit):
"""Rate limit in bytes"""
import pycurl
c = pycurl.Curl()
c.setopt(c.URL, url)
c.setopt(c.MAX_RECV_SPEED_LARGE, rate_limit)
if os.path.exists(filename):
file_id = open(filename, "ab")
c.setopt(c.RESUME_FROM, os.path.getsize(filename))
else:
file_id = open(filename, "wb")
c.setopt(c.WRITEDATA, file_id)
c.setopt(c.NOPROGRESS, 0)
c.setopt(c.PROGRESSFUNCTION, curl_progress)
c.perform()
Autorizzato sotto: CC-BY-SA insieme a attribuzione
Non affiliato a StackOverflow