Python Urlretrive Limit Screat и Resume Partial Download
-
13-10-2019 - |
Вопрос
Я использую код из эта ветка Чтобы ограничить мой уровень загрузки.
Как мне включить частичные загрузки, возобновляемые с кодом ограничения скорости? Примеры, которые я нашел urlopen
вместо urlretrieve
, и RateLimit
класс зависит от urlretrieve
.
Я хотел бы иметь внешнюю функцию, которая управляет частичной загрузкой, без необходимости изменить RateLimit
учебный класс:
from throttle import TokenBucket, RateLimit
def retrieve_limit_rate(url, filename, rate_limit):
"""Fetch the contents of urls"""
bucket = TokenBucket(10*rate_limit, rate_limit)
print "rate limit = %.1f kB/s" % (rate_limit,)
print 'Downloading %s...' % filename
rate_limiter = RateLimit(bucket, filename)
#
# What do I put here to allow resuming files?
#
return urllib.urlretrieve(url, filename, rate_limiter)
Решение
Возможно, вместо этого сможет использовать Pycurl:
def curl_progress(total, existing, upload_t, upload_d):
try:
frac = float(existing)/float(total)
except:
frac = 0
print "Downloaded %d/%d (%0.2f%%)" % (existing, total, frac)
def curl_limit_rate(url, filename, rate_limit):
"""Rate limit in bytes"""
import pycurl
c = pycurl.Curl()
c.setopt(c.URL, url)
c.setopt(c.MAX_RECV_SPEED_LARGE, rate_limit)
if os.path.exists(filename):
file_id = open(filename, "ab")
c.setopt(c.RESUME_FROM, os.path.getsize(filename))
else:
file_id = open(filename, "wb")
c.setopt(c.WRITEDATA, file_id)
c.setopt(c.NOPROGRESS, 0)
c.setopt(c.PROGRESSFUNCTION, curl_progress)
c.perform()
Не связан с StackOverflow