Иногда происходит сбой при загрузке Amazon S3?[закрыто]
https://stackoverflow.com/questions/31466
italiano
english
français
española
中国
日本の
العربية
Deutsch
한국어
Português
RussianВопрос
Мы только что добавили автозапуск в наше программное обеспечение и получили сообщение об ошибке, в котором говорилось что автозапуск не завершался должным образом, потому что контрольная сумма sha1 загруженного файла не соответствовала.Мы размещены на Amazon S3...
Это либо что-то не так с моим кодом, либо что-то не так с S3.
Я перечитал свой код на предмет подозрительных вещей и написал простой скрипт для загрузки и проверки контрольной суммы загруженного файла, и действительно, время от времени получал несколько ошибок (1 из 40 вчера).Сегодня все кажется нормальным.
Сталкивались ли вы с подобной проблемой?Есть ли какой - то обходной путь ?
дополнительная информация:испытания проводились в Японии.
Решение
Если не считать простоя несколько недель назад.Насколько я слышал, ничего подобного.
Они проделали хорошую работу, учитывая, что единственный раз он был отключен из-за непонятной ошибки сервера, которая распространилась каскадом по всему облаку.Они были очень откровенны по этому поводу и решили проблему, как только узнали.(это произошло в выходные, iirc)
Так что они довольно надежны.Мой совет - дважды проверьте свой код.И сообщите об этом в службу поддержки Amazon, если это все еще проблема.
Другие советы
Amazon S3 иногда выходит из строя с ошибками во время загрузки - как правило, "500:Ошибки внутреннего сервера".Частота ошибок обычно довольно низкая, но она может резко возрасти, если служба находится под большой нагрузкой.Частота ошибок никогда не равна 0%, поэтому даже в лучшие времена случайный запрос завершится неудачей.
Вы проверяете код HTTP-ответа в своем автозапуске?Если нет, вам следует проверить, что ваша загрузка прошла успешно (HTTP 200), прежде чем выполнять контрольную сумму.В идеале ваше приложение должно повторить неудачную загрузку, поскольку временные ошибки являются неизбежной "особенностью" S3, с которой приходится иметь дело клиентам.
Стоит отметить, что если ваши клиенты получают 500 ошибок, вы, вероятно, не увидите никаких доказательств этого в журналах сервера S3.Эти ошибки, по-видимому, возникают до того, как запрос достигает компонента ведения журнала службы.
ладно, сейчас все это немного устарело, но для справки.Я только что запустил перенос нескольких гигабайт данных с сервера EC2 непосредственно на s3.Я получаю 500 ошибок примерно каждые 10 минут или около того, что представляет собой частоту ошибок примерно в 1% случаев.Итак, да, у S3 действительно есть проблема с 500 ошибками.
Однако я мало что сделал на пути GET, так что не могу комментировать
Я согласен, четырехкратная проверка вашего кода была бы хорошей идеей.Я не говорю, что этого не может быть, но я не верю, что я когда-либо видел это, и сейчас я довольно часто использую S3.Однако я несколько раз неправильно управлял исключениями / разрывами соединения и в итоге получал фрагменты, которые не соответствовали тому, что я ожидал.
Я был бы очень удивлен, если бы они действительно отправляли неверные данные, но, как всегда, возможно все.
Никогда не слышал о проблемах во время загрузки.Это странно.При загрузке я получаю ТОННЫ 500 сообщений об ошибках внутреннего сервера.Вот почему у меня есть демон, который загружается, пока пользователь делает что-то еще.
Кажется, в вашем коде чего-то нет, возможно, действительно что-то не так с S3 (или с S3-> Japan.)
Вы можете попробовать запустить сервер EC2 и просто запустить тест оттуда (трафик не будет стоить никаких денег, поэтому используйте столько, сколько хотите!) и посмотреть, не появятся ли ошибки.Если вы это сделаете, значит, вам не повезло, и S3 не для вас :)
Удачи вам!
Я думаю, что это не просто отправка неверных данных, я получил ОШИБКУ 403.Если я просто попробую еще раз, обычно все в порядке.
И я согласен :Я видел много сообщений о людях, говорящих о полном отключении Amazon, но никто не говорил об ошибке "иногда мне отказывают в доступе", так что я предполагаю, что ошибка может быть с моей стороны.Я только что настроил журнал на Amazon.
В любом случае, спасибо вам!Я последую вашему совету и перестану обвинять "другого парня".
Иногда я получаю неожиданные ошибки 404 с объектами GETs, которые являются частью предыдущего списка, но являются новыми для корзины, и другими разными.ошибки (например:403 на моем идентификаторе доступа и секретном ключе), но ничего катастрофического.
Мой код работает на стороне сервера, поэтому я внедрил надежную обработку ошибок и протоколирование.Я думаю, что это мудрый поступок в любое время у вас есть один сервер в сети, который взаимодействует с другим сервером.:P
