Usando Amazon AWS para criar um banco de dados offline

Question

Problema Declaração: Eu gostaria de criar um banco de dados off-line para pesquisar preços / informações sobre os livros n mais úteis para vender nos Estados Unidos (onde n é provavelmente 3 milhões ou mais).

Pergunta: Então, minha pergunta é (e eu estou aberto a outras abordagens aqui também), eu estou tentando descobrir como usar o Amazon AWS para baixar uma lista das n higest livros salesrank sendo vendidos, bem como algumas informações sobre o livro ( ou seja, título, preços, etc ...).

O que tenho feito até agora: Em primeiro lugar, algo parecido com isso já existe (asellertool.com), no entanto, eu pensei que este seria um projeto interessante para trabalhar e, francamente, não são suficientemente graves para necessidade de pagar o / assinatura de US $ 30 mês.

Agora, a AWS é grande (e fácil), se você tem alguns itens que você deseja olhar para cima, mas eu não consigo descobrir como enumerar na Hierarquia de venda. Originalmente, eu estava esperando para enumerar todos os itens do livro Amazon tiveram por ISBN. Mas isso não estava disponível. Então eu pensei que eu poderia encontrar uma lista de todos os números ISBN lá fora, mas isso era um beco sem saída também. Finalmente eu pensei que eu poderia criar minha própria lista de ISBN números, mas como eu fiz alguma parte de trás dos cálculos envelope, eu pensei melhor como as minhas soluções levaria cerca de um ano para passar por um terço do espaço de 10 dígitos a 100 / segundo (e foi um exagero de qualquer maneira).

Então, estou de volta no ranking de vendas, que atualmente parece ser um beco sem saída também. Então, se você tiver quaisquer pensamentos, eu aprecio isso.

Answer 1

A Amazon tem um serviço de feed de dados que você pode usar que contém arquivos gzipped xml de todos os seus produtos com base em categorias de nível superior. Ele é atualizado uma vez por dia e totaliza cerca de 20GB / 110GB de dados comprimidos / descompactado. Desde que você só precisa de livros é mais na área de 4GB / 31GB. A única coisa é que eu não tenho certeza de quem é capaz de usar isso e que está envolvido com a obtenção de uma conta. Eles não fazer a lista nada sobre isso em seu site, tanto quanto eu sei que você provavelmente irá entrar em contato com alguém lá para descobrir mais sobre ele. Nós usamos isso no trabalho para coisas que fazemos com eles e é parte do xml mais louca processamento eu tinha que fazer.

Answer 2

Dê uma olhada AWS Zona , na seção Amazon E-Commerce Service.

Answer 3

Eu queria saber qual dos serviços Amazon AWS que você deseja usar? Ou você não sabe?

E por que você precisa de banco de dados offline? Por que não fazer solicitações em tudo que você precisa e fazer algum cache temporário?

Answer 4

Eu não sou um programador quer, mas curioso e barato. Asellerstool é provavelmente grande, mas eles não seriam em torno se não para Amazons base de dados livre. Bem, acho que ninguém se preocupa com preços de livros usados?