urllib.urlretrieveが成功した場合にどのように知っていますか？

StackOverflow https://stackoverflow.com/questions/987876

  •  13-09-2019
  •  | 
  •  

質問

urllib.urlretrieveファイルがリモートHTTPサーバー上に存在しない場合でも、それだけという名前のファイルにHTMLページを保存し静かに返します。たとえばます：

urllib.urlretrieve('http://google.com/abc.jpg', 'abc.jpg')

ただ黙って返し、abc.jpgはgoogle.comサーバー上に存在しない場合でも、生成されたabc.jpgは、それが実際にhtmlページですが、有効なJPGファイルではありません。私は（httplib.HTTPMessageインスタンスが）実際に検索成功かどうかを伝えるために使用することができます返されたヘッダを推測するが、私はhttplib.HTTPMessageのための任意のドキュメントを見つけることができません。

誰もがこの問題に関するいくつかの情報を提供することはできますか？

役に立ちましたか？

解決

あなたのケースでも、可能な場合urllib2の使用を検討してください。これは、より高度でurllibよりも使いやすくなっています。

あなたは簡単に任意のHTTPエラーを検出することができます：

>>> import urllib2
>>> resp = urllib2.urlopen("http://google.com/abc.jpg")
Traceback (most recent call last):
<<MANY LINES SKIPPED>>
urllib2.HTTPError: HTTP Error 404: Not Found

respは実際にあなたが持つ有益な多くのことを行うことができますHTTPResponseオブジェクトです。

>>> resp = urllib2.urlopen("http://google.com/")
>>> resp.code
200
>>> resp.headers["content-type"]
'text/html; charset=windows-1251'
>>> resp.read()
"<<ACTUAL HTML>>"

他のヒント

私はそれをシンプルに保つ：

# Simple downloading with progress indicator, by Cees Timmerman, 16mar12.

import urllib2

remote = r"http://some.big.file"
local = r"c:\downloads\bigfile.dat"

u = urllib2.urlopen(remote)
h = u.info()
totalSize = int(h["Content-Length"])

print "Downloading %s bytes..." % totalSize,
fp = open(local, 'wb')

blockSize = 8192 #100000 # urllib.urlretrieve uses 8192
count = 0
while True:
    chunk = u.read(blockSize)
    if not chunk: break
    fp.write(chunk)
    count += 1
    if totalSize > 0:
        percent = int(count * blockSize * 100 / totalSize)
        if percent > 100: percent = 100
        print "%2d%%" % percent,
        if percent < 100:
            print "\b\b\b\b\b",  # Erase "NN% "
        else:
            print "Done."

fp.flush()
fp.close()
if not totalSize:
    print

のドキュメントによると文書化されていないの

です

あなたのような何かをするように見えるメッセージへのアクセスを取得するには 

a, b=urllib.urlretrieve('http://google.com/abc.jpg', r'c:\abc.jpg')

Bがメッセージインスタンスである

私は私が入力したときに内省するPythonの能力を使用することが常に有益であるPythonのことを学んできたので、

dir(b)

私はと遊ぶ方法や機能の多くを参照してください。

そして、私はbと物事を開始した。

例

b.items()

は面白いものがたくさん表示されます、私はこれらの事で遊んでは、あなたが操作したい属性を取得できるようになりますことを疑うます。

申し訳ありませんが、これは、そのような初心者の答えですが、私はちょうどポップアップ私の学習やご質問を向上させるためにイントロスペクション能力の使用方法を習得しようとしています。

さて私は、私は自動的に私が書いたように、パラメータを必要としませんでしたディレクトリに現れたもののそれぞれから出力を得ることができれば、私はこの-思っていたに関連する何か面白いものを試してみました 

needparam=[]
for each in dir(b):
    x='b.'+each+'()'
    try:
        eval(x)
        print x
    except:
        needparam.append(x)

あなたは新しいURLopenerを作成（はFancyURLopenerから継承）、あなたが好きなように例外をスローまたはエラーを処理することができます。残念ながら、はFancyURLopenerは404やその他のエラーを無視します。この質問を参照してください。

はどのようurllib.urlretrieve の中に404エラーをキャッチします

私はそれが他の人を助けることを願って、それはurllibは/ urllib2のより多くのプロトコルをサポートしていretrieveの助けを借りて、私自身のpycurl実装になってしまっています。

import tempfile
import pycurl
import os

def get_filename_parts_from_url(url):
    fullname = url.split('/')[-1].split('#')[0].split('?')[0]
    t = list(os.path.splitext(fullname))
    if t[1]:
        t[1] = t[1][1:]
    return t

def retrieve(url, filename=None):
    if not filename:
        garbage, suffix = get_filename_parts_from_url(url)
        f = tempfile.NamedTemporaryFile(suffix = '.' + suffix, delete=False)
        filename = f.name
    else:
        f = open(filename, 'wb')
    c = pycurl.Curl()
    c.setopt(pycurl.URL, str(url))
    c.setopt(pycurl.WRITEFUNCTION, f.write)
    try:
        c.perform()
    except:
        filename = None
    finally:
        c.close()
        f.close()
    return filename

class MyURLopener(urllib.FancyURLopener):
    http_error_default = urllib.URLopener.http_error_default

url = "http://page404.com"
filename = "download.txt"
def reporthook(blockcount, blocksize, totalsize):
    pass
    ...

try:
    (f,headers)=MyURLopener().retrieve(url, filename, reporthook)
except Exception, e:
    print e

StackOverflowの上の私の最初のポスト:)は、年間のリードオンリーメンバーとなっています。 ：）

悲しいDIR（urllib.urlretrieve）の有用な情報が欠損しています。 だから、このスレッドからこれまで、私はこれを書いてみました。

a,b = urllib.urlretrieve(imgURL, saveTo)
print "A:", a
print "B:", b

これを製造した。

A: /home/myuser/targetfile.gif
B: Accept-Ranges: bytes
Access-Control-Allow-Origin: *
Cache-Control: max-age=604800
Content-Type: image/gif
Date: Mon, 07 Mar 2016 23:37:34 GMT
Etag: "4e1a5d9cc0857184df682518b9b0da33"
Last-Modified: Sun, 06 Mar 2016 21:16:48 GMT
Server: ECS (hnd/057A)
Timing-Allow-Origin: *
X-Cache: HIT
Content-Length: 27027
Connection: close

私は1つがチェックすることができますね。

if b.Content-Length > 0:

私の次のステップは、インクルードが取得シナリオをテストすることです失敗した...

別のサーバー/ Webサイトに対する

結果 - 何を「B」に戻ってくることは少しランダムですが、一つは、特定の値をテストすることができます：

A: get_good.jpg
B: Date: Tue, 08 Mar 2016 00:44:19 GMT
Server: Apache
Last-Modified: Sat, 02 Jan 2016 09:17:21 GMT
ETag: "524cf9-18afe-528565aef9ef0"
Accept-Ranges: bytes
Content-Length: 101118
Connection: close
Content-Type: image/jpeg

A: get_bad.jpg
B: Date: Tue, 08 Mar 2016 00:44:20 GMT
Server: Apache
Content-Length: 1363
X-Frame-Options: deny
Connection: close
Content-Type: text/html

「悪い」場合に「B」（画像ファイル非存在）は1363バイトのコンテンツ長、したがって、（Googlebotの？）HTMLコードの小さなチャンクを取得し、ターゲットとして保存しました。

ライセンス： CC-BY-SA と 帰属
所属していません StackOverflow
scroll top