Utilizzo di Amazon AWS per creare un database offline

Question

Dichiarazione del problema: Vorrei creare un database offline per cercare prezzi / informazioni sugli n libri più utili da vendere negli Stati Uniti (dove n è probabilmente 3 milioni circa).

Domanda: Quindi, la mia domanda è (e sono aperto anche ad altri approcci qui), sto cercando di capire come utilizzare Amazon AWS per scaricare un elenco dei libri di vendita più venduti e alcune informazioni sul libro ( ad esempio titolo, prezzi, ecc ...).

Quello che ho fatto finora: In primo luogo, esiste già qualcosa del genere (asellertool.com), tuttavia, ho pensato che sarebbe stato un progetto interessante su cui lavorare e, francamente, non siamo abbastanza seri da dover pagare l'abbonamento da $ 30 / mese.

Ora, AWS è fantastico (e facile) se hai alcuni articoli che vuoi cercare, ma non riesco a capire come enumerare il ranking delle vendite. Inizialmente, speravo di enumerare tutti gli elementi del libro che Amazon possedeva tramite ISBN. Ma neanche quello era disponibile. Poi ho pensato di poter trovare un elenco di tutti i numeri ISBN là fuori, ma anche quello era un vicolo cieco. Alla fine ho pensato di poter creare il mio elenco di numeri ISBN, ma mentre facevo alcuni calcoli sul retro della busta, ci ho pensato meglio dato che le mie soluzioni avrebbero impiegato circa un anno per passare un terzo dello spazio di 10 cifre a 100 / secondo (ed è stato comunque eccessivo).

Quindi, sono tornato al ranking delle vendite, che attualmente sembra anche un vicolo cieco. Quindi, se hai qualche idea, lo apprezzerei.

Answer 1

Amazon ha un servizio di feed di dati che puoi utilizzare che contiene file XML compressi GZipping di tutti i loro prodotti in base a categorie di livello superiore. Viene aggiornato una volta al giorno e ammonta a circa 20 GB / 110 GB di dati compressi / non compressi. Dal momento che hai solo bisogno di libri, è più nell'area di 4 GB / 31 GB. L'unica cosa è che non sono sicuro di chi sia in grado di utilizzare questo e cosa sia coinvolto nell'ottenere un account. Per quanto ne so, non elencano nulla al riguardo sul loro sito Web, quindi molto probabilmente dovrai contattare qualcuno lì per saperne di più. Lo usiamo al lavoro per cose che facciamo con loro ed è una delle elaborazioni xml più folli che ho dovuto fare.

Answer 2

Dai un'occhiata a AWS Zone , nel Amazon E-Commerce Service .

Answer 3

Mi chiedevo quale dei servizi Amazon AWS vuoi usare? O non lo sai?

E perché hai bisogno di un database offline? Perché non fare richieste su tutto ciò di cui hai bisogno e creare un po 'di cache temporanea?

Answer 4

Non sono neanche un programmatore, ma curioso ed economico. Asellerstool è probabilmente fantastico, ma non sarebbero in giro se non per il database gratuito di Amazzoni. Beh, immagino che a nessuno importi prezzi dei libri usati?