Le téléchargement d’Amazon S3 échoue-t-il parfois ?[fermé]

Question

Nous avons simplement ajouté un AutoupDater dans notre logiciel et avons obtenu un rapport de bogue disant que la somme de datte Autoup ne se terminerait pas correctement parce que la somme de contrôle SHA1 du fichier téléchargé ne correspondait pas.Nous sommes hébergés sur Amazon S3...

C'est soit quelque chose qui ne va pas avec mon code, soit quelque chose qui ne va pas avec S3.

J'ai relu mon code pour détecter les éléments suspects et j'ai écrit un simple script téléchargeant et vérifiant la somme de contrôle du fichier téléchargé, et j'ai effectivement eu quelques erreurs de temps en temps (1 sur 40 hier).Aujourd'hui, ça semble bien.

Avez-vous rencontré ce genre de problème ?Existe-t-il une sorte de solution de contournement ?

informaitons supplémentaires:les tests ont été effectués au Japon.

Answer 1

À part le temps d'arrêt d'il y a quelques semaines.Aucun dont j'ai entendu parler.
Ils ont fait du bon travail étant donné que la seule fois où il a été en panne était dû à une obscure erreur de serveur qui s'est propagée dans tout le cloud.Ils ont été très ouverts à ce sujet et l'ont résolu dès qu'ils l'ont découvert. (c'est arrivé pendant un week-end, iirc)

Ils sont donc assez fiables.Mon conseil est de vérifier votre code.Et signalez-le au support Amazon si le problème persiste.

Answer 2

Le S3 d'Amazon échouera occasionnellement avec des erreurs lors des chargements ou des téléchargements - généralement "500 :Erreurs "Serveur interne".Le taux d'erreur est normalement assez faible, mais il peut augmenter si le service est soumis à une forte charge.Le taux d'erreur n'est jamais de 0 %, donc même dans le meilleur des cas, une requête occasionnelle échouera.

Vérifiez-vous le code de réponse HTTP dans votre programme de mise à jour automatique ?Sinon, vous devez vérifier que votre téléchargement a réussi (HTTP 200) avant d'effectuer une somme de contrôle.Idéalement, votre application devrait réessayer les téléchargements ayant échoué, car les erreurs transitoires sont une « fonctionnalité » inévitable de S3 à laquelle les clients doivent faire face.

Il convient de noter que si vos clients reçoivent 500 erreurs, vous n'en verrez probablement aucune preuve dans les journaux du serveur S3.Ces erreurs semblent se produire avant que la requête n'atteigne le composant de journalisation du service.

Answer 3

ok, tout cela est un peu vieux maintenant, mais pour référence.Je viens d'effectuer la migration de plusieurs Go de données d'un serveur EC2 directement vers s3.Je reçois 500 erreurs toutes les 10 minutes environ, ce qui représente un taux d'erreur d'environ 1 % des PUT.Donc oui, S3 a un problème avec 500 erreurs.

Je n'ai pas fait grand-chose en termes de GET, donc je ne peux pas commenter

Answer 4

Je suis d'accord, une vérification quadruple de votre code serait une bonne idée.Je ne dis pas que cela ne peut pas arriver, mais je ne crois pas l'avoir jamais vu, et j'ai pas mal utilisé S3 maintenant.J'ai cependant mal géré les exceptions/coupures de connexion à plusieurs reprises et je me suis retrouvé avec des éléments qui ne correspondaient pas à ce à quoi je m'attendais.

Je serais assez surpris s’ils envoient de mauvaises données, mais, comme toujours, tout est possible.

Answer 5

Je n'ai jamais entendu parler d'un problème lors du téléchargement.C'est bizarre.Je reçois des TONNES de 500 messages d'erreur du serveur interne lors du téléchargement.C'est pourquoi j'ai un démon qui télécharge pendant que l'utilisateur fait autre chose.

Cela ne semble pas être quelque chose dans votre code, peut-être qu'il y a vraiment quelque chose qui ne va pas avec S3 (ou avec S3->Japon.)

Vous pouvez essayer de démarrer un serveur EC2 et simplement exécuter le test à partir de là (le trafic ne coûtera rien, alors utilisez-en autant que vous le souhaitez !) et voyez si vous obtenez des erreurs.Si vous le faites, alors vous n'avez pas de chance et S3 n'est pas pour vous :)

Bonne chance!

Answer 6

Plus que l'envoi de mauvaises données, je pense avoir reçu une ERREUR403.Si je réessaye, c'est généralement ok.

Et je suis d'accord :J'ai vu beaucoup de rapports sur des personnes parlant d'Amazon étant totalement en panne, mais personne ne parlant d'une erreur "parfois mon accès est refusé", donc je suppose qu'il pourrait y avoir une erreur de mon côté.Je viens de configurer le journal sur Amazon.

En tout cas merci !Je vais suivre vos conseils et arrêter de blâmer "l'autre gars".

Answer 7

Je reçois parfois des erreurs 404 inattendues avec des objets GET qui font partie d'une LISTE précédente mais nouveaux dans le compartiment, et d'autres divers.erreurs (par exemple :403 sur mon identifiant et ma clé secrète), mais rien de catastrophique.

Mon code s'exécute côté serveur, j'ai donc mis en place une gestion et une journalisation robustes des erreurs.Je pense que c'est une chose sage à faire à tout moment vous avez un serveur sur le net qui communique avec un autre serveur.:P