Come si può memorizzare un file su Google Storage da URL su Google App Engine?

Question

Voglio creare un servizio su Google App Engine (Python) che riceverà un URL di un'immagine e memorizzarla su Google Storage. Sono riuscito a caricare da un file locale utilizzando boto o riga di comando gsutil, ma non recuperando il file tramite URL. Ho provato a fare utilizzando le HTTP richieste (PUT) e sto ottenendo risposte di errore per le firme sbagliate. Ovviamente sto facendo qualcosa di sbagliato, ma purtroppo non ho idea di dove.

Quindi la mia domanda è: Come posso recuperare un file da un URL e memorizzarlo su Google Storage utilizzando Python per Google App Angine

Ecco quello che ho fatto (utilizzando un altro risposta ):

class ImportPhoto(webapp.RequestHandler):
    def get(self):
        self.response.headers['Content-Type'] = 'text/plain'
        srow = self.response.out.write
        url = self.request.get('url')
        srow('URL: %s\n' % (url))
        image_response = urlfetch.fetch(url)
        m = md5.md5()
        m.update(image_response.content)
        hash = m.hexdigest()
        time = "%s" % datetime.utcnow().strftime("%a, %d %b %Y %H:%M:%S GMT")
        str_to_sig = "PUT\n" + hash + "\n\n" + 
                      time + "\nx-goog-acl:public-read\n/lipis/8418.png"
        sig = base64.b64encode(hmac.new(
                                  config_credentials.GS_SECRET_ACCESS_KEY,
                                  str_to_sig, hashlib.sha1).digest())
        total = len(image_response.content) 
        srow('Size: %d bytes\n' % (total))

        header = {"Date": time,
                  "x-goog-acl": "public-read",
                  "Content-MD5": hash,
                  'Content-Length': total,
                  'Authorization': "GOOG1 %s:%s" % 
                                    (config_credentials.GS_ACCESS_KEY_ID, sig)}

        conn = httplib.HTTPConnection("lipis.commondatastorage.googleapis.com")
        conn.set_debuglevel(2)

        conn.putrequest('PUT', "/8418.png")
        for h in header:
            conn.putheader(h, header[h])
        conn.endheaders()
        conn.send(image_response.content + '\r\n')
        res = conn.getresponse()

        srow('\n\n%d: %s\n' % (res.status, res.reason))
        data = res.read()
        srow(data)
        conn.close()

E sto ricevendo come risposta:

URL: https://stackoverflow.com/users/flair/8418.png
Size: 9605 bytes

400: Bad Request
<?xml version='1.0' encoding='UTF-8'?><Error><Code>BadDigest</Code><Message>The Content-MD5 you specified did not match what we received.</Message><Details>lipis/hello.jpg</Details></Error>

Answer 1

Hai letto la documentazione su come firmare le richieste ? La stringa di segno deve includere gli header Content-MD5, Content-Type e Date, oltre alle intestazioni e il percorso delle risorse.

Answer 2

Content-MD5 intestazione è facoltativo per href="http://code.google.com/apis/storage/docs/reference-methods.html#putobject" richieste PUT . Provare a lasciare questo fuori per una prova.

Inoltre, le intestazioni richieste sono Authorization, Date e Host. Sembra che la tua richiesta manca intestazione Host.